乾貨｜3分鐘讀完ICLR 2017最佳論文，穀歌佔據半壁江山

時間＼2017-04-27

素有深度學習屆頂會“無冕之王”之稱的第五屆國際學習表徵會議（ICLR 2017）在法國土倫舉行。

ICLR，成立於2013年，其全稱為「International Conference onLearning Representations」（國際學習表徵會議），ICLR 關注如何學習對於機器學習重要有用的資料，雖然今年只是第 5 屆，卻已經是業內頂尖的機器學習會議。ICLR 彙集了頂級的人工智慧和機器學習專家，討論如何最有效地學習對視覺、語音、音訊和自然語言處理等應用領域有意義和有用的資料表征。

儘管眼下頂級的國際會議多如牛毛，比如 AAAI、CVPR、ACL 及 NIPS 等會議，

都是擁有多年歷史的老牌學術會議，它們也被 CCF 評選為一類會議。那麼為何 ICLR 還會「後來居上」，一躍成為深度學習炙手可熱的無冕之王呢？所長猜，這或許和大會本身“平易近人”的評判標準有關：ICLR的一個主要成因就是要聚在一起討論那些好卻會被頂級大會拒之門外的論文。

本屆 ICLR 一共收到了大約 500 篇論文。與上屆的最大不同在於，本屆 ICLR 論文評審還採用了 OpenReview 機制，即全部公示，評論者可以匿名。

在 ICLR 官網現在已經可以看到被收錄的論文（按口頭彙報、海報展示和研討會討論 3 種），還有之前被拒絕的論文。具體的評審、討論，以及作者回復全都可以在 OpenReview網站上查看。

這樣做的目的是提高整體審核流程的品質。組委會介紹，通過使用 OpenReview，作者可以隨時更新他們的論文回復評論。此外，社區中的任何人都可以對提交內容進行評論，審核人員可以利用公眾討論來提高他們對論文的理解和評價。

最佳論文

一、伯克利改進DeepMind神經程式設計解譯器，實現程式設計架構通用化

最佳論文一是由伯克利的研究人員完成。題目是《通過遞迴實現神經程式設計架構通用化》。

摘要

根據經驗，試圖從資料中學習程式設計的神經網路顯示出較差的通用性。

此外，當輸入的複雜度超過了一定水準，就很難去推斷這些模型的表現。為了解決這個問題，我們提出用一個關鍵抽象——遞迴（recursion）來增強神經架構。作為一個應用，我們在神經程式設計器-解譯器框架（Neural Programmer-Interpreterframework）上實現遞迴，包括四個任務：小學加法、冒泡排序、拓撲排序和快速排序。我們使用少量訓練資料證明了該方法具有較好的可泛化性和可解釋性。遞迴將問題分割成一個個更小的部分，

並且大大減少每個神經網路元件的域，使其易於證明對整個系統行為的擔保。我們的經驗表明，為了讓神經架構更穩健地學習程式語義（program semantics），有必要引入這樣一個“遞迴”方法。

【ICLR 委員會最終決定】評委非常肯定該論文。該論文所討論的話題很有意義，並且探討了一個實用的方法。

二、穀歌與 OpenAI 合作，半監督學習，差分隱私

第二篇最佳論文是來自賓夕法尼亞州立大學、穀歌（包括谷歌和穀歌大腦），以及 OpenAI 的研究人員合作完成的《通過半監督知識傳遞，使用私密訓練資料進行深度學習》。

看到作者裡 Ian Goodfellow 的名字，你想到了——沒有錯！這篇文章也使用了GAN，是近來有關差分隱私深度學習的一篇好文章。

摘要

有些機器學習應用涉及敏感訓練資料，比如臨床試驗中患者的醫療史。模型可能無意和隱含地存儲一些訓練資料；因此仔細分析模型可能會洩露敏感資訊。

為了解決這個問題，我們展示了一個普遍適用的方法，為訓練資料提供強有力的隱私保證。該方法以一種黑盒的方式，結合了多個使用不相交資料集訓練的模型，例如不同子集使用者的記錄。由於這些模型都直接依賴敏感性資料，因此都是不公開的，作為教育“學生”模型的“教師”。學生通過學習所有教師的噪音投票來預測輸出，不能直接訪問單獨的教師，也無法獲取基礎資料或參數。學生的隱私屬性可以從直觀上去理解（因為沒有哪個教師能單獨決定學生的訓練，也就沒有哪個單獨的資料集能決定學生的培訓），也能通過差分隱私（differential privacy）的方式被正式地理解。即使有攻擊者（adversary）既能訪問查詢（query）學生，也能審查（inspect）其內部機制，學生的隱私屬性也不會改變。

與此前的工作相比，這種新的方法對教師是如何訓練的抱有很弱的假設（weak assumption）；並且適用於任何模型，包括像深度神經網路（DNN）這樣的非凸模型。得益於改進後的隱私分析和半監督學習，我們在隱私和實用性（utility trade-off）方面，在 MNIST 和 SVHN 上取得了最好的結果。

【一句話總結】通過一組在私密資料分區上訓練的教師的集合進行知識傳遞，讓帶有對抗生成網路、能夠保護隱私的學生模型進行半監督學習。

【ICLR 委員會最終決定】論文提出了一種用於差分隱私的、通用的教師-學生學習方法，其中學生通過學習一組教師的噪音投票進行預測。噪音使得學生能夠擁有差分隱私，同時在 MNIST 和 SVHN 上取得很好的分類結果。論文寫得很好。

三、Bengio 兄弟對決之重新理解深度學習的泛化

無需置疑，這可真是篇備受爭議的最佳論文。

還是先來回顧內容。

摘要

儘管體積巨大，成功的深度人工神經網路在訓練和測試性能之間可以展現出非常小的差異。過去一般將其歸功於泛化誤差小，無論是對模型譜系的特點還是對於訓練中使用的正則技術來說。

通過廣泛的系統的實驗，我們展示了傳統方法無法解釋為什麼大規模神經網路在實踐中泛化表現好。具體來說，我們的實驗證明了用隨機梯度方法訓練的、用於圖像分類的最先進的卷積網路很容易擬合訓練資料的隨機標記。這種現象本質上不受顯式正則化影響，即使我們通過完全非結構化隨機雜訊來替換真實圖像，也會發生這種現象。我們用一個理論結構證實了這些實驗結果，表明只要參數的數量超過實踐中通常的資料點的數量，簡單兩層深的神經網路就已經具有完美的有限樣本表達性（finite sample expressivity）。我們通過與傳統模型進行比較來解釋我們的實驗結果。

【一句話總結】通過深入系統的實驗，我們指出傳統方式無法解釋為什麼大規模神經網路在實踐中泛化表現良好，同時指出我們為何需要重新思考泛化問題。

【ICLR 評委會最終決定】作者提供了深度神經網路擬合隨機標注資料能力的迷人研究結果。調查深入，有啟發性，鼓舞人心。作者提出了a）一個理論實例，顯示具有大量參數和足夠大的 wrt 樣本的簡單淺層網路產生了完美的有限樣本表達性；b）系統廣泛的實驗評價，以支持研究結果和論點。實驗評價的考慮非常周全。

結尾

ICLR 2017即將落下帷幕，所長感到每年一次的ICLR幾乎代表了人工智慧行業最頂尖的技術創新和發現，值得一提的是，這次入選ICLR oral論文中有3篇來自華人的創新力量，包括Contributed Talk：《Understanding deep learning requires rethinking generalization》的論文第一作者張馳原；Contributed Talk：《Amortised MAP In-ference for Image Super-resolution》論文團隊裡的施聞哲； Contributed Talk : 《Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic》論文團隊裡的顧世翔，我們看到華人創新力量正在各自專注的領域獲得越來越好的成績。就像獲得ICLR最佳論文的張馳原在現場做Contributed Talk演講的時候，清晰的邏輯，生動的PPT展示方法，回答現場質疑的冷靜幽默，讓現場出現了幾次掌聲雷動的場景，這情形不亞于一群嫺熟導師發現新大陸時的震撼和驚喜。

資源獲取方式：評論本文，獲取最佳論文~

以及 OpenAI 的研究人員合作完成的《通過半監督知識傳遞，使用私密訓練資料進行深度學習》。