您的位置:首頁>正文

「不騙你」CMU 召開 SIGBOVIK 2017 大會,生成對抗網路被轟下神壇

新智元推薦

作者:羅浩、吳曉輝、許九祀、Yivan

整理:張易

【新智元導讀】SIGBOVIK 2017 大會昨天在 CMU 召開, 會議論文《抵制暴力 GAN 》引起廣泛關注。

我對深度學習、深度森林和深度貝葉斯起誓, 我下面說的都是真的。

昨天(2017年3月31日)下午五點半, SIGBOVIK 2017 年度大會在CMU 的Rashid Auditorium ( Gates-Hillman Center 4401) 那個房間裡如期召開了。

作為小眾研究的年度盛會, SIGBOVIK 已經連續舉辦11年了。 它沒放過的小眾領域包括神經網路、困惑理論和毛蟲因果論等等。

是的, 神經網路這麼熱, 可它還是沒放過。

按大會組織者的說法, 他們歡迎三類研究:搞笑想法的搞笑實現;嚴肅想法的搞笑實現;搞笑想法的嚴肅實現。

好了, 還是說些大家關心的:本屆會議最出名的論文——《抵制暴力GAN》(Stopping GAN Violence)。

作為SIGBOVIK 2017的評審論文, 《抵制暴力GAN》此前已搞得滿城風雨。 今天,

我們特地轉載了幾位高人對此文的解讀和評論。 祝你在這個特殊的日子裡, 用深度學習辨別謊言, 用 AI 呼喚和平。

震驚!生成對抗網路走下神壇, 竟是這等原因?

作者:羅浩.ZJU

連結:https://www.zhihu.com/question/56841301/answer/150790748

這是個搞笑論文會議, 我還一本正經的review的文章, 當我啥也沒說, 難受.

謝邀, 早上粗粗看了一下

赤露露的標題黨, 我看中文標題可以這樣取:震驚!生成對抗網路走下神壇, 竟是這原因?

看到標題我是滿懷期待, 以為是個創舉, 看完之後特麼這是來搞笑的嗎。

先來看下作者簡介

這特麼什麼鬼個人簡介, 一個考到了駕照的軍人?黑人問號臉。 這一坨黑色的神奇馬賽克又是什麼鬼。 還有發表短片小說也是神奇, 我...

然後內容, 文章提出GM模型, 一個生產網路G, 一個監視網路M, 不想GAN的GD互相對抗成長一樣, GM講究和諧統一, 互相成長互相進步(恩, 身為黨員這種思想我是很贊同的)。

然後訓練思想, M最大化G, G最大化M, 話說這樣訓練真的不會出現M,G一直互相懟高對方然後最後都奔著無窮大去了嗎?這種正正促進的系統難道不是不穩定的嗎?

然後下面又是一個槽點, log(1-s), s解釋到是一個固定值, 我們取S=0, 特麼log(1-0)不就是0嗎, 這你寫進來幹嘛, 強行增加公式長度?另外這個R是什麼東西, 我好像整篇文章沒找到

接下來我們來看下cost, 首先我看到這個$美元符號的時候我有點懵逼, 好像沒看過這樣的數學符號

直到我看到了下面這一句

這個花費(損失值)是1876美元,生動形象沒毛病,最後我們來看下結果,首先結果沒有任何具體的數字表面,只有一張圖

你們的mnist的資料集好像和我的不一樣,我的mnist應該不會教我寫出左邊這樣的數位,左邊那些列印字體是個什麼樣的神奇存在

心疼一下這個會議的reviewers。

吐槽了這麼多,還是給點正能量,這樣一篇"民科"氣質的搞笑文章,看得我簡直不知該如何評論。不過深度學習確實現在很火了,大家不管水準高低都在搗鼓著深度學習,挺好的,對這篇文章的作者們給點鼓勵吧,下次弄個正統一點的文章,不過SIGBOVIK的審稿人還是拒了這篇文章吧,bengio,hinton和lan fellow et al.都在我心中是神一樣的存在。

搞笑我們是正經的,可惜有很多梗看不懂

作者:吳曉暉

連結:https://www.zhihu.com/question/56841301/answer/150632327

作者提出了GUN,抵抗暴力,宣揚和平(其實是來搞笑的),還特意搞了個NoN表情上去。

一整篇論文都在宣揚道德、仁愛、協作,抵抗暴力的GAN。動機就是看了部什麼鬼電影,還扯上了TCP協定握手協定。(一本正經地胡說八道)

演算法就是用一個生成器G和一個監視器M,共同進步,互愛互助(聽起來就很gay有沒有),然後每一步反覆運算,要放把結果放到PPT上展示(還溫馨提醒要記得帶U盤和準備投影儀)。

還說後續要結合 nurtural gradients、k-dearest neighbours這些什麼鬼東西。然後放出實驗結果(全是很好看的列印字,一看就是假的好嗎!)。

結果實驗證明,GAN的暴力是不道德並且是沒必要的。然後還說GUN這玩意兒的潛力很大,它的潛力在於你認為結果很好它就很好(啥玩意...)

最後還安利別人來填坑(填你妹~)。居然還附了搞笑代碼(我有點懷疑作者會不會被打死)

其實裡面還有很多沒看懂的梗(隱約地感受到那是個梗)

經過知友提醒,我之前把Motivator看成了Monitor,所以譯成了監視器M。我認為Motivator在這裡應該譯為鼓勵師M(程式猿們聽了有沒有一絲小興奮呀~)

有些梗很偏啊,我來按順序解釋一下

作者:許九祀

連結:https://zhuanlan.zhihu.com/p/25651305

點開之後,果然。

由於這篇文章寫的實在是畫風詭異,因此完全無法總結,總結就是罪過,就是劇透,就毀掉了三位作者的傑出工作。

推薦各位科學算命小能手們幹活幹不動的時候看一下,真的,深深的被打動了,21世紀人工智慧領域最偉大的論文之一,Literally“人類群星他媽的閃耀時”了。

剛才又看了一遍,發現有的梗還是挺偏的,在這裡按順序解釋一下。

abstract

winner-shares-all,winner-takes-all在我印象中是博弈論裡面的一個模型,和經濟學裡的“馬太效應”類似。

both the moral and log-likelihood high ground:moral high gound,道德高地,記得那張圖嗎,“你站在道德高地上就不冷嗎”那張。

最後一句話是諧音梗,the optimal solution to NoN (none) violence is more GUNs.

作者順序是按照歐冠上各自國家的表現排的。

Introduction

circa:拉丁文,“大約,大概”的意思。

intractorable:typo梗,tractor是拖拉機的意思,intractable這個詞兒這麼一打有種說不出來的喜感。讓我想起了我的兄弟給人發套瓷兒信的時候開頭就是一個“Deer Professor”(後續:該人的兄弟,which is 我的二階兄弟,發郵件的時候寫的是“Dear Processor”,怎麼說,江山自有才人出,各領風騷數百年吧。)

“……demonstrate that methaphorical tractors could in fact be driven directly through the goddamn centre of this previously unploughed research field”:呼應諧音梗和typo梗,methaphorical應該是metaphorical,centre應該是center(評論區小夥伴指出center的英式拼法是centre,由於該文章用詞採用英式拼法,因此這個詞在這是對的),unploughed:未開墾的,荒涼的,後面那句Subject to 歐洲農業安全和三不管管理局……

GANs,GANGs,CAPONEs——Gang什麼意思應該都知道,但是Capone就是那個因為逃稅被IRS和FBI聯合拿下的黑手黨老大。

counterfeit currency:假幣,十二個硬幣拿天平秤的那個問題好像有時候就叫做counterfeit problem。

Back-of-the-envelope calculation:草草估算,拿紙劃拉一下的那麼算。

Related Work

Smith & Wesson:美國軍火製造企業,“生成模型”。

Fabbrica d’Armi Pietro Beretta:16世紀的義大利軍火製造商,“one shot learning”。

Generative Unadversarial Network

公式3和注釋9:噴了資訊幾何臭名昭著的數學要求,資訊幾何原版教科書是創始人用日語寫的,第一章第一節:可微分流形。

Experiments

gut feeling:直覺,但是和intuition意思有細微的區別,intuition可以表示那種靈光乍現,而gut feeling就是那種一拍腦門,“就TM這麼整,來!”的感覺。

warm-start:對cold start,推薦系統裡這個問題是很操蛋的,不知道這幾年有沒有什麼進展。

fight-or-flight:跑路還是作戰。

Conclusion

注釋12:While we have exhaustively explored the topic of machine learning GUNs, we leave the more controversial topic of machine GUN learning to braver researchers……給跪了。

一個領域出現了這樣的論文,反映了這個領域研究的火熱和困境

作者:Yivan

連結:https://www.zhihu.com/question/56841301/answer/150934968

直到我看到了下面這一句

這個花費(損失值)是1876美元,生動形象沒毛病,最後我們來看下結果,首先結果沒有任何具體的數字表面,只有一張圖

你們的mnist的資料集好像和我的不一樣,我的mnist應該不會教我寫出左邊這樣的數位,左邊那些列印字體是個什麼樣的神奇存在

心疼一下這個會議的reviewers。

吐槽了這麼多,還是給點正能量,這樣一篇"民科"氣質的搞笑文章,看得我簡直不知該如何評論。不過深度學習確實現在很火了,大家不管水準高低都在搗鼓著深度學習,挺好的,對這篇文章的作者們給點鼓勵吧,下次弄個正統一點的文章,不過SIGBOVIK的審稿人還是拒了這篇文章吧,bengio,hinton和lan fellow et al.都在我心中是神一樣的存在。

搞笑我們是正經的,可惜有很多梗看不懂

作者:吳曉暉

連結:https://www.zhihu.com/question/56841301/answer/150632327

作者提出了GUN,抵抗暴力,宣揚和平(其實是來搞笑的),還特意搞了個NoN表情上去。

一整篇論文都在宣揚道德、仁愛、協作,抵抗暴力的GAN。動機就是看了部什麼鬼電影,還扯上了TCP協定握手協定。(一本正經地胡說八道)

演算法就是用一個生成器G和一個監視器M,共同進步,互愛互助(聽起來就很gay有沒有),然後每一步反覆運算,要放把結果放到PPT上展示(還溫馨提醒要記得帶U盤和準備投影儀)。

還說後續要結合 nurtural gradients、k-dearest neighbours這些什麼鬼東西。然後放出實驗結果(全是很好看的列印字,一看就是假的好嗎!)。

結果實驗證明,GAN的暴力是不道德並且是沒必要的。然後還說GUN這玩意兒的潛力很大,它的潛力在於你認為結果很好它就很好(啥玩意...)

最後還安利別人來填坑(填你妹~)。居然還附了搞笑代碼(我有點懷疑作者會不會被打死)

其實裡面還有很多沒看懂的梗(隱約地感受到那是個梗)

經過知友提醒,我之前把Motivator看成了Monitor,所以譯成了監視器M。我認為Motivator在這裡應該譯為鼓勵師M(程式猿們聽了有沒有一絲小興奮呀~)

有些梗很偏啊,我來按順序解釋一下

作者:許九祀

連結:https://zhuanlan.zhihu.com/p/25651305

點開之後,果然。

由於這篇文章寫的實在是畫風詭異,因此完全無法總結,總結就是罪過,就是劇透,就毀掉了三位作者的傑出工作。

推薦各位科學算命小能手們幹活幹不動的時候看一下,真的,深深的被打動了,21世紀人工智慧領域最偉大的論文之一,Literally“人類群星他媽的閃耀時”了。

剛才又看了一遍,發現有的梗還是挺偏的,在這裡按順序解釋一下。

abstract

winner-shares-all,winner-takes-all在我印象中是博弈論裡面的一個模型,和經濟學裡的“馬太效應”類似。

both the moral and log-likelihood high ground:moral high gound,道德高地,記得那張圖嗎,“你站在道德高地上就不冷嗎”那張。

最後一句話是諧音梗,the optimal solution to NoN (none) violence is more GUNs.

作者順序是按照歐冠上各自國家的表現排的。

Introduction

circa:拉丁文,“大約,大概”的意思。

intractorable:typo梗,tractor是拖拉機的意思,intractable這個詞兒這麼一打有種說不出來的喜感。讓我想起了我的兄弟給人發套瓷兒信的時候開頭就是一個“Deer Professor”(後續:該人的兄弟,which is 我的二階兄弟,發郵件的時候寫的是“Dear Processor”,怎麼說,江山自有才人出,各領風騷數百年吧。)

“……demonstrate that methaphorical tractors could in fact be driven directly through the goddamn centre of this previously unploughed research field”:呼應諧音梗和typo梗,methaphorical應該是metaphorical,centre應該是center(評論區小夥伴指出center的英式拼法是centre,由於該文章用詞採用英式拼法,因此這個詞在這是對的),unploughed:未開墾的,荒涼的,後面那句Subject to 歐洲農業安全和三不管管理局……

GANs,GANGs,CAPONEs——Gang什麼意思應該都知道,但是Capone就是那個因為逃稅被IRS和FBI聯合拿下的黑手黨老大。

counterfeit currency:假幣,十二個硬幣拿天平秤的那個問題好像有時候就叫做counterfeit problem。

Back-of-the-envelope calculation:草草估算,拿紙劃拉一下的那麼算。

Related Work

Smith & Wesson:美國軍火製造企業,“生成模型”。

Fabbrica d’Armi Pietro Beretta:16世紀的義大利軍火製造商,“one shot learning”。

Generative Unadversarial Network

公式3和注釋9:噴了資訊幾何臭名昭著的數學要求,資訊幾何原版教科書是創始人用日語寫的,第一章第一節:可微分流形。

Experiments

gut feeling:直覺,但是和intuition意思有細微的區別,intuition可以表示那種靈光乍現,而gut feeling就是那種一拍腦門,“就TM這麼整,來!”的感覺。

warm-start:對cold start,推薦系統裡這個問題是很操蛋的,不知道這幾年有沒有什麼進展。

fight-or-flight:跑路還是作戰。

Conclusion

注釋12:While we have exhaustively explored the topic of machine learning GUNs, we leave the more controversial topic of machine GUN learning to braver researchers……給跪了。

一個領域出現了這樣的論文,反映了這個領域研究的火熱和困境

作者:Yivan

連結:https://www.zhihu.com/question/56841301/answer/150934968

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示