您的位置:首頁>科技>正文

回憶GAN誕生:啤酒喝出來的深度學習想法

編譯 | 姜範波 笪潔瓊 張伯楠 寒小陽

RICHARD Feynma去世那天, 他的教室黑板上寫著:“我不能創造的, 便是我不明白的”。

當Ian Goodfellow解釋他在穀歌大腦所做的研究時,

他引用了原子物理學家、加州理工學院教授兼暢銷書作家的這句格言。 但是, Goodfellow不是指自己, 也不是Google內的任何其他人。 他談論的, 是機器:“AI不能創造的, 便是它不明白的(What an AI cannot create, it does not understand)”。

Ian Goodfellow在推特上轉發這篇文章:

關於GAN的誕生往事

Goodfellow是世界上最重要的AI研究人員之一,

在Elon Musk和Sam Altman建立的穀歌大腦競逐對手OpenAI短暫工作後, 他返回谷歌, 建立了一個新的研究小組, 探索“生成模型”——一個可以創造現實世界的照片, 聲音和其他表徵的系統。 Goodfellow引用Feynman的名言, 將這一努力描述成通往各種人工智慧的重要途徑。

他解釋說:“如果AI能學習如何想像現實的圖像和逼真的聲音——這將鼓勵AI瞭解世界的實際結構。 它可以説明AI理解它看到的圖像或它聽到的聲音。 ”

幾杯啤酒後誕生的

“20年來最酷的深度學習思想” GAN

2014年, 當時還在蒙特利爾大學讀博士的Goodfellow, 在一家酒吧微醺後, 想到了一種稱為“生成對抗網路(generative adversarial networks)”或GAN的AI技術。 儘管這個想法來自幾罐啤酒, 其仍不失為一個非常優雅的設計:一個AI嘗試創造它認為真實的圖像, 而第二個AI分析結果,

並嘗試確定圖像是真實還是假的。 Goodfellow說:“你可以把它們當作藝術家和藝術評論家, 生成模型想要愚弄藝術評論家 ——讓藝術批評家把它所產生的圖像當成真的”。 因為第二個AI努力地識別造出來的假圖像, 所以第一個AI得以學會模仿真實世界。 這種方式, 是一個單獨的AI無法完成的, 。 在這個過程中, 這兩個神經網路可以將AI推向某一天, 電腦宣佈獨立於他們的人類老師。

監管Facebook人工智慧研究的Yann LeCun將GAN稱為“過去20年來最酷的深度學習思想”。 深度學習是一種AI, 它正在改變所有互聯網最大的公司的方向, 包括穀歌, 微軟, 和亞馬遜, 以及Facebook。 Goodfellow的想法還在不斷發展, 但它們已經快速傳遍AI社區。 許多研究人員, 包括LeCun, 相信他們可以導致“無監督學習”,

這是AI研究領域的巨大願望:機器學習無需人類的直接幫助。

做正確的事

Goodfellow得到這個靈感時, 是位於蒙特利爾酒吧名為Les 3 Brasseurs, 或“三個釀酒師”的酒吧。 他的朋友Razvan Pascanu, 現在是Google的另一個AI實驗室DeepMind的研究員, 彼時剛完成了他的博士學習, 很多朋友聚集一堂送別他。 其中一個正在描述一個新的研究專案, 試圖用數學方法確定進入照片的所有內容。 這個想法是將這些統計資訊輸入一台機器, 以便它可以自己創建照片。 半醉中, Goodfellow說這是永遠不會有效的 —— 要考慮的統計量太多, 沒有人能全部記錄下來。 就在這一刻, 他想到了一個更好的方法:神經網路可以教會機器如何建立逼真的照片。

神經網路是一種比較複雜的數學思維, 它通過識別照片中的人臉和口語理解分析大量資料來進行學習任務。

在酒吧裡, Goodfellow決定使用現實的照片來構建神經網路學習, 然後可以與其他進行對比, 來試圖辨別照片是否為假, 實際上, 這一切是依據它們第一次的感覺來判斷。

他表示通過這種方式, 它最終可以成為第一個使用神經網路生成並與真實事物無法分辨的虛假圖像。

爭議隨之而來, Goodfellow的朋友們堅持認為這種方法行不通。 所以當他晚上到家的時候, 他開始進行這項試驗。 “當我回家的時候我有點喝醉了, 我的女朋友也已經熟睡了。 ”

我坐著那兒思考:酒吧裡我的朋友們他們都想錯了!他回憶著說, 當時我連夜在筆記型電腦裡完成了GANs的代碼。

按照他的說法, 程式碼第一次測試就正常運行了。 “這是真的,真的很幸運,”他說道,“如果不是因為第一次代碼就成功,我可能已經放棄這個想法了。”

他和其他的一些研究人員在那年晚些時候發表了一篇論文,闡述了這個想法。在那之後的三年,已經有數百篇論文來探討這一概念。

更智慧的AI

也許不再需要人類

在第一篇論文中表示,這兩種神經網路可以產生一種能夠生成手寫數位的現實圖像的系統。

如今,研究人員正將這個想法在從貓到火山再到整個星系的各種照片上應用。

它甚至可以幫助進行天文學試驗和模擬粒子物理學試驗。但這仍然是一件非常困難的事情,它不僅需要訓練一個神經網路,還需要兩個神經網路同時運行。

在谷歌,他成立了一個專注於GANS和相關研究的新團隊,Goodfellow希望能優化這一過程,他表示道:“最重要的是,作為一名機器學習研究者,我得不斷對它們進行有效的訓練。”

最終的結果:神經網路系統不僅能夠更好地生成圖像與聲音,還能識別它們,這是一種能夠在人類的輔助下獲得更多的資訊的系統。系統模型會嘗試學習並理解世界的構造。Goodfellow表示道:可以説明系統在沒有明確背景資訊的情況下盡可能多的學習。

GANs甚至可能達到一項迄今未能實現的目標,即在無人監管的情況下自主學習。目前,神經網路可以通過分析上百萬幅貓的圖片學會對其進行識別,在此過程中,人類必須仔細對這些圖片進行分析並進行標注。目前,人類仍在機器學習中不可或缺,而隨之帶來的個人偏見和對大量人類勞動的需求,常常正是AI訓練的問題所在。諸如LeCun等AI研究學者正著力推動可顯著加速AI發展進化,無須大量人類參與的學習系統研究。

然而這僅僅是開始。GANs將帶來許多其他可能。David Kale,南加州大學的AI研究學者,相信這個創意可以幫助他和他的同事在不侵犯患者隱私的情況下來建立一個健康護理AI。機器學習系統可以基於假想資料替代真實資料進行訓練。“比起把病人病歷大規模上傳到網路供人使用,為什麼不創造一個向研究者開放的完全虛擬資料庫以訓練GANs呢?”Kale說,“如果基於該資料庫的訓練模型和原始資料訓練結果毫無差異,我們又何樂而不為呢?”

Ian Goodfellow 的 LinkedIn 個人資料

在三月改為「Google Brain research scientist」

儘管很多研究者已在探索GANs背後的奧秘,據稱Goodfellow仍決心專門在谷歌建立其研究團隊。Goodfellow曾離開穀歌前往OpenAI,承諾要向全世界範圍開源分享研究成果的實驗室的研究者之一。然而不到一年,他發現所有合作夥伴都聚集在穀歌,並於今年三月份重新回歸穀歌大腦。“一整天都不得不面對視訊會議的經歷一點也不愉快,”他說,“這不是完成工作的好方式”。

分享非常重要,然而近距離合作同樣如此——無論你是一名AI,還是神經網路的研究學者。

“這是真的,真的很幸運,”他說道,“如果不是因為第一次代碼就成功,我可能已經放棄這個想法了。”

他和其他的一些研究人員在那年晚些時候發表了一篇論文,闡述了這個想法。在那之後的三年,已經有數百篇論文來探討這一概念。

更智慧的AI

也許不再需要人類

在第一篇論文中表示,這兩種神經網路可以產生一種能夠生成手寫數位的現實圖像的系統。

如今,研究人員正將這個想法在從貓到火山再到整個星系的各種照片上應用。

它甚至可以幫助進行天文學試驗和模擬粒子物理學試驗。但這仍然是一件非常困難的事情,它不僅需要訓練一個神經網路,還需要兩個神經網路同時運行。

在谷歌,他成立了一個專注於GANS和相關研究的新團隊,Goodfellow希望能優化這一過程,他表示道:“最重要的是,作為一名機器學習研究者,我得不斷對它們進行有效的訓練。”

最終的結果:神經網路系統不僅能夠更好地生成圖像與聲音,還能識別它們,這是一種能夠在人類的輔助下獲得更多的資訊的系統。系統模型會嘗試學習並理解世界的構造。Goodfellow表示道:可以説明系統在沒有明確背景資訊的情況下盡可能多的學習。

GANs甚至可能達到一項迄今未能實現的目標,即在無人監管的情況下自主學習。目前,神經網路可以通過分析上百萬幅貓的圖片學會對其進行識別,在此過程中,人類必須仔細對這些圖片進行分析並進行標注。目前,人類仍在機器學習中不可或缺,而隨之帶來的個人偏見和對大量人類勞動的需求,常常正是AI訓練的問題所在。諸如LeCun等AI研究學者正著力推動可顯著加速AI發展進化,無須大量人類參與的學習系統研究。

然而這僅僅是開始。GANs將帶來許多其他可能。David Kale,南加州大學的AI研究學者,相信這個創意可以幫助他和他的同事在不侵犯患者隱私的情況下來建立一個健康護理AI。機器學習系統可以基於假想資料替代真實資料進行訓練。“比起把病人病歷大規模上傳到網路供人使用,為什麼不創造一個向研究者開放的完全虛擬資料庫以訓練GANs呢?”Kale說,“如果基於該資料庫的訓練模型和原始資料訓練結果毫無差異,我們又何樂而不為呢?”

Ian Goodfellow 的 LinkedIn 個人資料

在三月改為「Google Brain research scientist」

儘管很多研究者已在探索GANs背後的奧秘,據稱Goodfellow仍決心專門在谷歌建立其研究團隊。Goodfellow曾離開穀歌前往OpenAI,承諾要向全世界範圍開源分享研究成果的實驗室的研究者之一。然而不到一年,他發現所有合作夥伴都聚集在穀歌,並於今年三月份重新回歸穀歌大腦。“一整天都不得不面對視訊會議的經歷一點也不愉快,”他說,“這不是完成工作的好方式”。

分享非常重要,然而近距離合作同樣如此——無論你是一名AI,還是神經網路的研究學者。

Next Article
喜欢就按个赞吧!!!
点击关闭提示