【新智元導讀】深度學習論戰再起， NYT心理學家Gary Marcus如約寫了一篇偏技術的文章， 回應對他此前提出的深度學習問題的質疑。 無監督學習適用於什麼問題？為什麼不說深度學習更好的方面？馬庫斯說，
馬庫斯和LeCun的深度學習論戰從未停止。
新年伊始， 紐約大學認識心理學家馬庫斯發文， 列出深度學習十大局限， 引發廣泛討論。
很快， LeCun、AAAI前主席Thomas Dietterich等人都加入到討論中。 LeCun更有甚至還拋出“深度學習已死”的言論。 馬庫斯此前回應， 他會寫一篇偏技術的文章回應種種質疑。 現在， 這篇文章來了——
“任何真理都要經歷三個階段：第一， 被嘲笑；第二， 被激烈反對；最後， 被理所當然地普遍接受。 ”
——叔本華
我在最近一篇評價深度學習的文章（Marcus， 2018）中， 概括了深度學習的十大挑戰， 並提出深度學習本身雖然有用， 但它不可能實現通用人工智慧。 我建議把深度學習視為“一種非普遍的解決方法， 而只是一種工具。 ”
相比純粹的深度學習， 我呼籲混合模型， 不僅包括深度學習的監督形式， 還包括其他技術， 例如符號處理（symbol-manipulation）， 以及無監督學習（它本身也可能被重新概念化）。 我也敦促社區考慮將更多的內在結構納入AI系統。
在這篇文章發表之後， 幾天之內， 成千上萬的人在推特上發表了自己對這個問題的看法， 有些人熱情支持我的論點（例如，
我認為澄清這些問題非常重要， 因此我編了一份14個常見問題的列表。 無監督學習適用於什麼問題？為什麼我不說深度學習更好的方面？最初是什麼讓我有權利去討論這個問題？問一個神經網路從偶數到奇數的泛化是怎麼回事？等等， 還有更多問題， 在這裡我沒能全部列出， 但我儘量做到有代表性。
1. 什麼是通用智慧？機器學習領域的著名教授Thomas Dietterich的評論是我迄今為止看到的最全面、最清晰的， 他給出了一個很好的答案：
“通用智慧”是一個可以在廣泛的目標和環境中智慧地行動的系統。 例如， 參見Russell和Norvig的教科書， 他們對智慧的定義是“理性行事”。
Dietterich提出了這兩點， 他寫道：
Gary Marcus 的文章令人失望。 他幾乎絕口不提深度學習取得的成就（例如自然語言翻譯）， 並且最大限度地貶低了其他的成就（例如說有 1000 個類別 ImageNet“非常有限”）。
前半部分說的沒錯， 我確實可以說更多積極的東西。 但並不是我“絕口不提”。 我也沒有不提Dietterich說的這些例子。 我在文章的第一頁就提到了：
自那以後， 深度學習在語音辨識、圖像識別、語言翻譯等領域取得了許多最先進的成果， 並在當前AI的廣泛應用中起著重要作用。
在文章後面的部分， 我引用了幾篇優秀的文章和優秀的博客， 提到了無數的例子。不過，這些例子大部分都不算是AGI（通用人工智慧），這是我的論文的主要關注點。（例如，谷歌翻譯固然非常令人印象深刻，但它不是通用的；它不能回答關於它所翻譯的內容的問題，而人類譯者能。）
Dietterich的批評的後半部分更具實質性。1000個類別真的“非常有限”嗎？是的，與人類認知的靈活性相比，這非常有限。認知科學家通常把一個人所知道的原子概念（atomic concept）的數量定為5萬個，我們可以很容易地把這些概念組合成為數量更多的複雜想法。這5萬個概念中，“寵物”和“魚類”可能算在裡面，但“寵物魚”可能就沒有算進去。而且我們可以很容易地理解“患上白點病的寵物魚”這個概念，或者意識到“剛買了一隻寵物魚，就發現它感染了白點病，這非常令人失望”這樣的概念（這是兒時的經歷，現在仍然感到不滿）。我能表達多少種想法呢？ 比1000要多得多。
我不是很確定一個人能夠識別多少視覺類別，但我認為這個數字大致是差不多的。你可以試試在穀歌圖像搜索“寵物魚”，結果會不錯；然後你再試試搜索“佩戴護目鏡的寵物魚”，你會發現出來的大部分圖片是戴著護目鏡的狗，誤報率超過80％。
機器在辨別狗的品種的任務上準確率超過了非專業的人類，但在解釋複雜場景時，人類大幅領先，例如解釋一個背著背包而不是背著降落傘的跳傘運動員會發生什麼。
在我看來，把機器學習的領域集中在1000個類別塊上，本身就是一種傷害。這是為了一種短期的成功，因為它避開了更困難、更開放的問題（例如場景和句子理解），而這些問題最終是必須解決的。相對於我們人類可以看到和理解的句子和場景的基本上是無限範圍相比，1000個類別真的非常小。[另見文末注釋2]
3. 馬庫斯說，深度學習毫無用處，但對於很多事情來說已經很好了當然，深度學習是有用的，我從沒說過它毫無用處，只是（a）在目前的監督形式下，深度學習可能正在接近極限，（b）這些極限將不能完全符合通用人工智慧——除非我們開始合一些其他的方法，比如符號處理和固有性（innateness）。
我的核心論點是：
儘管我提出了所有這些問題，但我並不是認為我們需要放棄深度學習。
相反，我們需要重新定義它：不是作為一種通用的方法，而是作為眾多工具中的一種；如果將深度學習比喻為一個功能強大的螺絲刀，那麼我們還需要錘子、扳手和鉗子，以及鑿子和鑽頭、電壓表、邏輯探針和示波器。
4. “我不理解的一點是，GaryMarcus說DL對分層結構不好，但在LeCun在他發表在《自然》的評論文章中說DL特別適合於開發這樣的層次結構。”這是Ram Shankar的提出一個敏銳的問題，我本應該更清楚地回答這個問題：我們考慮的層級（hierarchy）有許多不同的類型。深度學習是非常好的，可能是目前為止最好的，就像LeCun所說的那樣，我通常稱之為分層特徵檢測（hierarchical feature detection）。你可以用圖元來構建線條，用線條表示字母，用字母表示單詞，等等。Kurzweil和Hawkins也強調了這一點，這可以追溯到Hubel和Wiesel的神經科學實驗（1959），以及福島邦彥的AI實驗（Fukushima, Miyake, & Ito, 1983）。福島在他的“新認知機”（Neocognitron）模型中，手工連接了更多抽象特徵的層次結構; LeCun等許多人的研究顯示（至少在某些情況下），不必手工設計。
但是，你不必跟蹤一路上遇到的子組件（subcomponents）。頂層系統不需要對整個輸出的結構進行顯式的編碼，這是為什麼一個深度系統可以被欺騙的部分原因，例如它會認為黑色和黃色條紋的組合是一輛校車。（Nguyen，Yosinski，＆Clune，2014）。這些條紋樣式與校車的輸出單元的啟動緊密相關，這又與一系列低級特徵相關聯，但是在典型的圖像識別深度網路中，沒有由車輪、底盤、窗戶等組成的完全實現校車表徵。實際上，幾乎所有有關欺騙的文獻都提到這些情況。 [注3]
我在討論中提到的層級結構的概念是不同的，聚焦在能夠進行明確推理的系統周圍。一個經典的例子是喬姆斯基提出的層次結構，他認為一個句子是由越來越複雜的語法單元組成的。例如，一個片語：“男人將他的漢堡誤認為是熱狗”（“the man who mistook his hamburger for a hot dog”），或一個更長的句子：“女演員堅持說她不會被那個把漢堡包當成熱狗的人所超越”（The actress insisted that she would not be outdone by the man who mistook his hamburger for a hot dog）。我不認為深度學習在這方面能做得很好（例如，辨別女演員、男人和被誤認的熱狗之間的關係），儘管已經有這方面的研究。
即使在視覺領域，問題也沒有完全得到解決。例如，Hinton最近提出的capsule的工作（Sabour, Frosst, & Hinton, 2017）試圖通過使用更多結構化的網路來構建更可靠的圖像識別的部分整體方向（part-whole direction）。我認為這是一種很好的趨勢，也是一種試圖解決欺騙問題的潛在方法，但同時也反映了標準的深度學習方法的局限。
5. “在通用人工智慧的背景下討論深度學習很奇怪。 通用人工智慧不是深度學習的目標！”來自魁北克大學教授Daniel Lemire在推特上對此做了很好的回應：“哦！Come on! Hinton，Bengio ......正在公開展示一個人類智慧的模型。”
Google的數學博士Jeremy Kun反駁了“通用人工智慧不是深度學習的目標”這個可疑的說法。“如果這是真的，那麼深度學習專家肯定會讓大家相信這是沒有經過改正的。”
吳恩達最近在《哈佛商業評論》上的文章暗示，深度學習可以在一秒之內做一個人可以做的任何事情。 Thomas Dietterich的推文，部分表示：“很難說，DL是有限制的”。 Jeremy Howard擔心，深度學習被過度炒作的想法本身可能就被誇大了，然後表示每一個已知的限制都被反駁。
DeepMind最近的AlphaGo論文的定位有些類似，Silver等人滿懷熱情地報告說：
“我們的研究結果全面地證明，一個純粹的深度強化學習方法是完全可行的，即使在最具挑戰性的領域。”
在那篇論文的結論性討論中，沒有提到任何一個我的文章中提出的的10個深度學習挑戰。（正如我將在即將發表的一篇論文中所討論的那樣，這實際上並不是一個純粹的深度學習系統，這是另外一件事兒。）
人們不斷對AI系統進行人類基準測試的主要原因正是因為AGI是目標。
6. 馬庫斯說的是監督學習，而不是深度學習。Yann LeCun在我的Facebook頁面發表了以下評論：
我沒有時間做出適當的回應，但總之：（1）我認為大部分都是錯誤的，如果所有“深度學習”的實例都被“監督學習”所取代，那麼錯誤就會大大減少。 （2）找到拓展無監督學習和推理的深度學習概念的方法，正是我過去兩年半來一直宣導的。我不是一直在鼓吹這個，實際上我一直在努力......你對這件事很瞭解，但是它不會在你的論文中發生。
關於我所謂的不承認LeCun最近的工作的部分是很奇怪的。誠然，我找不到一篇好的總結文章來引用（當我問LeCun，他通過電子郵件告訴我目前還沒有這樣一篇文章），但是我明確地提到了他的興趣：
深度學習的先驅Geoff Hinton和Yann LeCun最近都指出，無監督學習是超越受監督的，資料饑渴的深度學習的一個關鍵方式。
我還提到：
要清楚的是，深度學習和無監督學習並不是邏輯對立的。深度學習主要用於有標記資料的監督環境，但是有一些方法可以以無監督的方式使用深度學習。
我的結論也是積極的。儘管我對目前建立無監督系統的方法表示保留，但我對此卻很樂觀。
如果我們能夠在這個更加抽象的層面建立能夠設定自己的目標並進行推理和解決問題的無監督的系統，那麼重大進展可能會很快出現。
LeCun的評論確實正確的是，我所提到的許多問題是監督式學習的一個普遍問題，而不是深度學習所特有的問題。我可以更清楚地瞭解這一點。許多其他的監督學習技術面臨類似的挑戰，如泛化的問題和對海量資料集的依賴；我所說的相對較少是深度學習所獨有的。我的文章中忽略了這一點。
但是，其他監督式學習技術在同一條船上並不能真正幫助深度學習。如果有人能以非監督的方式提出一個真正令人印象深刻的深度學習方式，可能需要重新評估。但是我沒有看到那種無監督的學習，至少是目前所追求的，尤其是對於我所提出的挑戰，例如在推理，層級表示，遷移，健壯性和可解釋性方面的補救。 [注5]
正如波特蘭州立大學和聖達菲研究所教授Melanie Mitchell所說的那樣，
... LeCun說馬庫斯的文章是“全部錯誤”的，但是如果限制在監督學習，那麼並沒有太多錯誤。我很樂意聽到（現有的）非監督學習專案的例子來證明馬庫斯的論點錯誤的。
我也會。
同時，我認為沒有原則的理由相信，無監督學習能夠解決我所提出的問題，除非我們首先增加更抽象的符號表徵。
7. 深度學習不僅僅是卷積網路（Marcus批評的那種），它本質上是一種新的程式設計形式 - “可微分程式設計” - 而且這個領域正試圖用這種風格來制定可重用的構造。我們有一些：卷積，池化，LSTM，GAN，VAE，memory單元，routing單元等，Tom Dietterich認為。這似乎（在Dietterich的更長的一系列推文中）被提出來作為一種批評，但我對此感到困惑，因為我是喜歡可微分程式設計。也許重要的是，深度學習可以採取更廣泛的方式。
在任何情況下，我都不會將深度學習和可微分程式設計（例如，我所引用的像神經圖靈機和神經程式設計這樣的方法）等同起來。深度學習是許多可區分系統的組成部分。但是這樣的系統也完全構建了我自己的符號處理元素，並且一直在敦促這個領域整合（Marcus，2001; Marcus，Marblestone，＆Dean，2014a; Marcus，Marblestone，＆Dean，2014b）包括記憶體單元和變數操作，以及其他系統，比如最近的兩篇論文強調的routing單元。如果把所有這些東西融入到深度學習之中，那麼我們能夠把它帶到AGI，那麼我的結論將會變成：
大腦可能被視為由“廣泛的”組成。可重用計算原語的陣列的基本單位。處理類似於套基本。在一個微處理器中的指令 - 可能並行連接在一起，就像我在其他地方（Marcus，Marblestone，＆Dean，2014）所論證的那樣，在被稱為現場可程式設計閘陣列的可重新配置的積體電路類型中，豐富了指令集其中我們的計算系統建成只能是一件好事。
8. 現在和未來。也許深度學習現在不起作用，但它的不斷反覆運算會讓我們達到AGI。有可能。我認為深度學習可能會使我們加入AGI，如果一些關鍵的東西（許多還沒有被發現）被首先添加的話。
但是，我們補充說的是，將未來的系統稱為深度學習本身，還是更為明智地稱為“深度學習的某種特定的系統”，這取決於深度學習在哪裡適合最終的解決方案。也許，例如，在真正充分的自然語言理解系統中，符號處理將扮演深度學習同樣重要的角色，或者更重要的角色。
這裡的部分問題當然是術語。最近一位很好的朋友問我，為什麼我們不能稱符號處理為深度學習？對此我作出回應：為什麼不把包含符號處理的所有東西稱為包含深度學習的東西呢？
基於梯度的優化應該得到應有的效果，符號處理也應該是這樣，它是系統地表示和實現高級抽象的唯一已知工具，它基本上覆蓋了世界上所有複雜的電腦系統，從試算表到程式設計環境到作業系統。
最後，我猜想，信用也將歸結於兩者之間的不可避免的聯姻，混合系統是20世紀50年代初期發展起來的，將符號處理和神經網路這兩個偉大思想結合在一起。其它尚未發明的新工具也可能至關重要。
對於一個真正的深度學習的輔助者來說，任何東西都是深度學習，無論它是如何融合的，不管它與現在的技術有什麼不同。如果用一個神經元代替經典的符號微處理器中的每個電晶體，但是保持晶片的邏輯完全不變，一個真正的深度學習輔助者仍然會宣告勝利。但是，如果我們把所有的東西放在一起，我們就不會理解推動（最終）成功的原則。 [注6]
9．沒有機器可以推斷。期望一個神經網路從偶數推斷到奇數是不公平的。這是一個用二進位數字字表示的函數。
f(110) = 011;
f(100) = 001;
f(010) = 010.
f(111)是什麼?
如果你是一個普通人，你可能會猜答案是111.如果你是我討論過的那種神經網路，你可能不會。
如果你多次被告知神經網路中的“抽象函數”隱藏層，你可能會有點驚訝。
如果你是一個人，你可能會想到這個函數就像“反轉”一樣，很容易用一行電腦代碼來表示。如果你是某種神經網路的話，很難從這種情況下學習反轉的抽象概念。但真的不可能嗎？如果你有一個先前的整數概念，則是有可能的。再試一次，這次在十進位：f（4）= 8; f（6）= 12.f（5）是什麼？
當然，這個函數不像其他所有的函數那樣，是由稀少的例子決定的。但是大多數人會回答f（5）= 10。
同樣有趣的是，大多數標準多層感知器（代表二進位數字字的數字）不會這樣回答。除了François Chollet之外，神經網路社區的許多人都不願意接受這種想法。
重要的是，認識到一個規則適用於任何整數是大致相同的一種泛化，使人們能夠認識到一個新名詞可以用於其他各種各樣的上下文中。從我第一次聽到blicket這個詞被用作賓語，我猜到它會適合各種各樣的框架。而且我也可以生成和解釋這樣的句子，而不需要進一步的訓練。blicket是否與我所聽到的其他詞語的音韻類似，或者我將這個詞作為主語或賓語都不重要。如果大多數機器學習範式都存在這種問題，那麼我們應該在大多數ML範式中遇到問題。
我是否“公平”？是，也不是。的確，我正在要求神經網路做一些違背假設的事情。
例如，一個神經網路宣導者可能會說，“嘿，等一下，在你的逆向例子中，你的輸入空間有三個維度，代表左邊的二進位數字字，中間的二進位數字字和最右邊的二進位數字字。最右邊的二進位數字字在訓練中僅為零;當你到達那個位置時，網路無法知道該做什麼。”
例如，康奈爾大學博士後Vincent Lostenlan說：“我不明白你在3.11.上試圖證明什麼。f是在輸入空間中的（n-1）維超立方體的頂點上訓練的恒等函數。你怎麼會對DNN，甚至是任何ML模式沒有“泛化”到第n個dim而感到驚訝呢？
Dietterich基本上提出了同樣的觀點，更為簡潔：“馬庫斯抱怨DL不能推斷，但沒有任何方法可以推斷。”
儘管對深度學習來說，odds-and-evens很難實現，這種情況下二人的觀點都是都是正確的。但對於更大的問題來說，他們的觀點是是錯誤的，原因有三。
首先，人不可能無法推斷。
對於那些深深地沉浸在當代機器學習中的人來說，我的幾率問題似乎是不公平的，因為某個維度（包含最右邊數字1的那個維度）在培訓體系中沒有被說明。但是，當你作為一個人，看看我上面的例子，你將不會受到訓練資料中的這個特定差距的阻礙。你甚至不會注意到它，因為你的注意力是在更高層次的規則。
人們經常按照我所描述的方式進行推斷，比如從上面給出的三個訓練樣例中識別字串反轉。從技術上講，這是外推，而你剛剛做到了。在《Algebraic Mind》中，我將這種特定的外推法稱為在訓練樣例空間之外推廣普遍量化的一對一映射。在一個領域，如果我們要趕上人類學習，即使這意味著要改變我們的假設，我們迫切需要解決這個挑戰。
現在可以合理地反對，這不是一個公平的戰鬥：人類在推廣這樣的映射時顯然依賴於先驗知識。
但從某種意義上說，神經網路並沒有一個好方法，把正確的先驗知識結合到這個地方。正是因為這些網路沒有一種方法來結合諸如“無限類的所有元素的許多概括”等先驗知識，那些缺乏變數操作的神經網路會失敗。正確的先驗知識將允許神經網路獲取並表示普遍量化的一對一映射。除了某些有限的方式，標準神經網路不能代表這種映射。
其次，現在的深度學習或其他方式不能用我所描述的方式進行外推；其他的架構可能再次處於波濤洶湧的水中，但這並不意味著我們不應該試圖遊到岸邊。如果想要達到通用人工智慧，我們必須解決這個問題。
第三，目前沒有任何進行推斷的系統被證明是錯誤的。已經有ML系統可以推斷出我所描述的至少一些功能，你可能自己就有一個：Microsoft Excel，它的Flash Fill功能（Gulwani，2011）。由一個與機器學習非常不同的方法支持，它可以做一些外推，例如，嘗試輸入一系列（十進位）數位1,11,21，看看是否系統可以通過Flash Fill推斷到序列（101）中的第十一項。
擾亂警報，即使在百位元數字的訓練維度中沒有正面的例子，它也可以完全如您所願。系統從例子中學習你想要的功能並推斷它。這簡直是小菜一碟。任何深度學習系統都可以通過三個訓練實例來做到這一點。
只有那些可能這樣做的也許是在變數上運行的混合體，這與大多數人認為與深度學習相關的那種典型卷積神經網路是完全不同的。
把所有這一切做得非常不同，一個粗略的方法就是考慮我們今天大多數ML系統的位置（注7），它們的目的並不是為了“思考”。人類比當代人工智慧更擅長思考問題，我不認為有人會質疑這一點。
但是，如果微軟能夠在狹窄的語境下進行這種推斷，而沒有機器可以處理類似人類的廣度，那麼想要達到AGI，機器學習工程師真正應該去做的就是要去解決這個問題。
10. 領域裡每個人都已經知道這一點了。沒有什麼新東西很顯然不是每個人都知道，如前所述，有很多批評者認為我們還不知道深度學習的局限性，還有些人認為深度學習可能會有一些局限，但目前我們還沒有發現。
但話說回來，我從來沒有說過我的觀點是全新的，我提出的幾乎所有論點，都引用了其他學者，他們獨立地得出了類似的結論。
11. 馬庫斯沒有引用誰誰誰這一點確實如此；文獻綜述是不完整的。我沒能引用Shanahan的深度符號強化（Garnelo，Arulkumaran，＆Shanahan，2016）；我也無法相信，我竟然忘了Richardson和Domingos（2006）的瑪律科夫邏輯網路。要是我當時引用Evans和Edward Grefenstette（2017）就好了，那是DeepMind的一篇很好的論文。此外，還有Smolensky的張量微積分工作（Smolensky等，2016），以及Noah Goodman（Goodman，Mansinghka，Roy，Bonawitz ＆Tenenbaum，2012）各種形式的歸納程式設計（Gulwani等，2015）和概率程式設計。所有這些努力都將規則和網路聯繫在一起。
還有喬丹·波拉克（Jordan Pollack）等先驅（Smolensky et al.，2016）,Forbus和Gentner（Falkenhainer，Forbus ＆Gentner，1989），以及Hofstadter和Mitchell（1994）的類比工作，還有其他許多人。我相信我還有更多的東西可以引用。
總的來說，我試圖做到有代表性而不是全面，但我 原本可以做得更好。
12、馬庫斯不瞭解深度學習，他不是從業者，只是評論家我很猶豫要不要提出這一點，但是有很多人都提到了這個問題，包括一些知名的專業人士。正如Ram Shankar所說：“作為一個社區，我們必須把批評限制在科學和基於貢獻的討論之內。”真正重要的不是我的資格（我相信事實上我確實有資格寫），而是論證的有效性。
我的論點要麼是對的，要麼不是。
13、回復：Socher的樹RNN（Tree-RNN）又如何？我已經寫信給他，希望能對當前狀況有更好的理解。我也在私下裡推動幾個團隊嘗試Lake和Baroni（2017）提出的方法。
Pengfei等人（2017）也提出了一些很有意思的討論。
14、你應該更批判地審視深度學習並沒有很多人提到這一點，話也不是這樣說的，但是，有些人在私下裡跟我提過，與上述觀點十分類似。
有一位同事向我指出，關於未來預測，現在或許存在一些嚴重的問題
現在有種感覺是，成功的速度會呈指數級快速增長……更有可能的情況是，我們身處一個寬闊的平臺，看見很多低垂的果實，但是一旦這些果實消失，向深層推理的進展將會變慢。此外，現在我們能以95%的精確度識別貓，但還不清楚為什麼憑此人們就該認為，我們可以很容易地實現AGI，解決道德，倫理等難題。前一類問題可能存在於更為複雜的空間中。
同時，這位同事還補充說：
研究人員在某些領域過於急切地宣佈成果。例如影像處理：我們已經發現了一類問題，電腦十分擅長，但同時電腦使用的演算法可能遭到對抗性攻擊。而且，當電腦出錯的時候，往往錯得莫名其妙，現實與結果大相徑庭。而人類則不同，在街上行駛時，我可能會把一棵樹錯看成一個燈柱，但我錯得不會太離譜（因為我深深地理解了意義和場景）。確實，這些局限性經常得到報導，但也有這樣一個基本觀點：由於ImageNet的結果，電腦在圖像識別方面比人更加厲害。
機器學習研究者和作家Pedro Domingos也指出，現在的深度學習還存在另一些我之前沒有提到的局限：
像其他靈活的監督式學習方法一樣，深度學習系統可能是不穩定的，因為稍微改變訓練資料，就可能導致最終模型的巨大變化。
系統可能需要大量的資料，哪怕實際上少一些也足夠。（特別是資料增強，是非常昂貴的，人類並不需要這一點。）
系統可能很脆弱：對資料的小改動就會導致災難性的失敗。例如，在數位資料集中翻轉黑白）（Hosseini，Xiao，Jaiswal ＆Poovendran，2017）。
Ribeiro，Singh和Guestrin（2016）發現，從ImageNet提取的資料集中，狼與狗之間的高度準確的區分結果是檢測狼的圖像中的白色雪塊得到的。因此，系統並不像我們想像的那樣準確。
在機器學習歷史上，到目前為止，每一種佔據主導地位的範式（比如上世紀80年代的神經網路，90年代的貝葉斯學習和2000年代的Kernel方法），都傾向於主導大約十年的時間。
正如Domingos指出的那樣，誰也不能保證類似的流行和衰退不會重演。神經網路先後幾次起起落落，最早從1957年羅森布拉特的第一個感知機那時起。我們不應該把週期性的熱度解讀為解決智慧的完整方案，至少在我看來，要解決智慧還需要幾十年的時間。
如果想要實現AGI，我們更應隨時要求自己，敏銳地意識到我們所面臨的挑戰。
原文連結：https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1
加入社群
新智元AI技術+產業社群招募中，歡迎對AI技術+產業落地感興趣的同學，加小助手微信號: aiera2015_1 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名-公司-職位；專業群審核較嚴，敬請諒解）。
此外，新智元AI技術+產業領域社群(智慧汽車、機器學習、深度學習、神經網路等)正在面向正在從事相關領域的工程師及研究人員進行招募。
提到了無數的例子。不過，這些例子大部分都不算是AGI（通用人工智慧），這是我的論文的主要關注點。（例如，谷歌翻譯固然非常令人印象深刻，但它不是通用的；它不能回答關於它所翻譯的內容的問題，而人類譯者能。）Dietterich的批評的後半部分更具實質性。1000個類別真的“非常有限”嗎？是的，與人類認知的靈活性相比，這非常有限。認知科學家通常把一個人所知道的原子概念（atomic concept）的數量定為5萬個，我們可以很容易地把這些概念組合成為數量更多的複雜想法。這5萬個概念中，“寵物”和“魚類”可能算在裡面，但“寵物魚”可能就沒有算進去。而且我們可以很容易地理解“患上白點病的寵物魚”這個概念，或者意識到“剛買了一隻寵物魚，就發現它感染了白點病，這非常令人失望”這樣的概念（這是兒時的經歷，現在仍然感到不滿）。我能表達多少種想法呢？ 比1000要多得多。
我不是很確定一個人能夠識別多少視覺類別，但我認為這個數字大致是差不多的。你可以試試在穀歌圖像搜索“寵物魚”，結果會不錯；然後你再試試搜索“佩戴護目鏡的寵物魚”，你會發現出來的大部分圖片是戴著護目鏡的狗，誤報率超過80％。
機器在辨別狗的品種的任務上準確率超過了非專業的人類，但在解釋複雜場景時，人類大幅領先，例如解釋一個背著背包而不是背著降落傘的跳傘運動員會發生什麼。
在我看來，把機器學習的領域集中在1000個類別塊上，本身就是一種傷害。這是為了一種短期的成功，因為它避開了更困難、更開放的問題（例如場景和句子理解），而這些問題最終是必須解決的。相對於我們人類可以看到和理解的句子和場景的基本上是無限範圍相比，1000個類別真的非常小。[另見文末注釋2]
3. 馬庫斯說，深度學習毫無用處，但對於很多事情來說已經很好了當然，深度學習是有用的，我從沒說過它毫無用處，只是（a）在目前的監督形式下，深度學習可能正在接近極限，（b）這些極限將不能完全符合通用人工智慧——除非我們開始合一些其他的方法，比如符號處理和固有性（innateness）。
我的核心論點是：
儘管我提出了所有這些問題，但我並不是認為我們需要放棄深度學習。
相反，我們需要重新定義它：不是作為一種通用的方法，而是作為眾多工具中的一種；如果將深度學習比喻為一個功能強大的螺絲刀，那麼我們還需要錘子、扳手和鉗子，以及鑿子和鑽頭、電壓表、邏輯探針和示波器。
4. “我不理解的一點是，GaryMarcus說DL對分層結構不好，但在LeCun在他發表在《自然》的評論文章中說DL特別適合於開發這樣的層次結構。”這是Ram Shankar的提出一個敏銳的問題，我本應該更清楚地回答這個問題：我們考慮的層級（hierarchy）有許多不同的類型。深度學習是非常好的，可能是目前為止最好的，就像LeCun所說的那樣，我通常稱之為分層特徵檢測（hierarchical feature detection）。你可以用圖元來構建線條，用線條表示字母，用字母表示單詞，等等。Kurzweil和Hawkins也強調了這一點，這可以追溯到Hubel和Wiesel的神經科學實驗（1959），以及福島邦彥的AI實驗（Fukushima, Miyake, & Ito, 1983）。福島在他的“新認知機”（Neocognitron）模型中，手工連接了更多抽象特徵的層次結構; LeCun等許多人的研究顯示（至少在某些情況下），不必手工設計。
但是，你不必跟蹤一路上遇到的子組件（subcomponents）。頂層系統不需要對整個輸出的結構進行顯式的編碼，這是為什麼一個深度系統可以被欺騙的部分原因，例如它會認為黑色和黃色條紋的組合是一輛校車。（Nguyen，Yosinski，＆Clune，2014）。這些條紋樣式與校車的輸出單元的啟動緊密相關，這又與一系列低級特徵相關聯，但是在典型的圖像識別深度網路中，沒有由車輪、底盤、窗戶等組成的完全實現校車表徵。實際上，幾乎所有有關欺騙的文獻都提到這些情況。 [注3]
我在討論中提到的層級結構的概念是不同的，聚焦在能夠進行明確推理的系統周圍。一個經典的例子是喬姆斯基提出的層次結構，他認為一個句子是由越來越複雜的語法單元組成的。例如，一個片語：“男人將他的漢堡誤認為是熱狗”（“the man who mistook his hamburger for a hot dog”），或一個更長的句子：“女演員堅持說她不會被那個把漢堡包當成熱狗的人所超越”（The actress insisted that she would not be outdone by the man who mistook his hamburger for a hot dog）。我不認為深度學習在這方面能做得很好（例如，辨別女演員、男人和被誤認的熱狗之間的關係），儘管已經有這方面的研究。
即使在視覺領域，問題也沒有完全得到解決。例如，Hinton最近提出的capsule的工作（Sabour, Frosst, & Hinton, 2017）試圖通過使用更多結構化的網路來構建更可靠的圖像識別的部分整體方向（part-whole direction）。我認為這是一種很好的趨勢，也是一種試圖解決欺騙問題的潛在方法，但同時也反映了標準的深度學習方法的局限。
5. “在通用人工智慧的背景下討論深度學習很奇怪。 通用人工智慧不是深度學習的目標！”來自魁北克大學教授Daniel Lemire在推特上對此做了很好的回應：“哦！Come on! Hinton，Bengio ......正在公開展示一個人類智慧的模型。”
Google的數學博士Jeremy Kun反駁了“通用人工智慧不是深度學習的目標”這個可疑的說法。“如果這是真的，那麼深度學習專家肯定會讓大家相信這是沒有經過改正的。”
吳恩達最近在《哈佛商業評論》上的文章暗示，深度學習可以在一秒之內做一個人可以做的任何事情。 Thomas Dietterich的推文，部分表示：“很難說，DL是有限制的”。 Jeremy Howard擔心，深度學習被過度炒作的想法本身可能就被誇大了，然後表示每一個已知的限制都被反駁。
DeepMind最近的AlphaGo論文的定位有些類似，Silver等人滿懷熱情地報告說：
“我們的研究結果全面地證明，一個純粹的深度強化學習方法是完全可行的，即使在最具挑戰性的領域。”
在那篇論文的結論性討論中，沒有提到任何一個我的文章中提出的的10個深度學習挑戰。（正如我將在即將發表的一篇論文中所討論的那樣，這實際上並不是一個純粹的深度學習系統，這是另外一件事兒。）
人們不斷對AI系統進行人類基準測試的主要原因正是因為AGI是目標。
6. 馬庫斯說的是監督學習，而不是深度學習。Yann LeCun在我的Facebook頁面發表了以下評論：
我沒有時間做出適當的回應，但總之：（1）我認為大部分都是錯誤的，如果所有“深度學習”的實例都被“監督學習”所取代，那麼錯誤就會大大減少。 （2）找到拓展無監督學習和推理的深度學習概念的方法，正是我過去兩年半來一直宣導的。我不是一直在鼓吹這個，實際上我一直在努力......你對這件事很瞭解，但是它不會在你的論文中發生。
關於我所謂的不承認LeCun最近的工作的部分是很奇怪的。誠然，我找不到一篇好的總結文章來引用（當我問LeCun，他通過電子郵件告訴我目前還沒有這樣一篇文章），但是我明確地提到了他的興趣：
深度學習的先驅Geoff Hinton和Yann LeCun最近都指出，無監督學習是超越受監督的，資料饑渴的深度學習的一個關鍵方式。
我還提到：
要清楚的是，深度學習和無監督學習並不是邏輯對立的。深度學習主要用於有標記資料的監督環境，但是有一些方法可以以無監督的方式使用深度學習。
我的結論也是積極的。儘管我對目前建立無監督系統的方法表示保留，但我對此卻很樂觀。
如果我們能夠在這個更加抽象的層面建立能夠設定自己的目標並進行推理和解決問題的無監督的系統，那麼重大進展可能會很快出現。
LeCun的評論確實正確的是，我所提到的許多問題是監督式學習的一個普遍問題，而不是深度學習所特有的問題。我可以更清楚地瞭解這一點。許多其他的監督學習技術面臨類似的挑戰，如泛化的問題和對海量資料集的依賴；我所說的相對較少是深度學習所獨有的。我的文章中忽略了這一點。
但是，其他監督式學習技術在同一條船上並不能真正幫助深度學習。如果有人能以非監督的方式提出一個真正令人印象深刻的深度學習方式，可能需要重新評估。但是我沒有看到那種無監督的學習，至少是目前所追求的，尤其是對於我所提出的挑戰，例如在推理，層級表示，遷移，健壯性和可解釋性方面的補救。 [注5]
正如波特蘭州立大學和聖達菲研究所教授Melanie Mitchell所說的那樣，
... LeCun說馬庫斯的文章是“全部錯誤”的，但是如果限制在監督學習，那麼並沒有太多錯誤。我很樂意聽到（現有的）非監督學習專案的例子來證明馬庫斯的論點錯誤的。
我也會。
同時，我認為沒有原則的理由相信，無監督學習能夠解決我所提出的問題，除非我們首先增加更抽象的符號表徵。
7. 深度學習不僅僅是卷積網路（Marcus批評的那種），它本質上是一種新的程式設計形式 - “可微分程式設計” - 而且這個領域正試圖用這種風格來制定可重用的構造。我們有一些：卷積，池化，LSTM，GAN，VAE，memory單元，routing單元等，Tom Dietterich認為。這似乎（在Dietterich的更長的一系列推文中）被提出來作為一種批評，但我對此感到困惑，因為我是喜歡可微分程式設計。也許重要的是，深度學習可以採取更廣泛的方式。
在任何情況下，我都不會將深度學習和可微分程式設計（例如，我所引用的像神經圖靈機和神經程式設計這樣的方法）等同起來。深度學習是許多可區分系統的組成部分。但是這樣的系統也完全構建了我自己的符號處理元素，並且一直在敦促這個領域整合（Marcus，2001; Marcus，Marblestone，＆Dean，2014a; Marcus，Marblestone，＆Dean，2014b）包括記憶體單元和變數操作，以及其他系統，比如最近的兩篇論文強調的routing單元。如果把所有這些東西融入到深度學習之中，那麼我們能夠把它帶到AGI，那麼我的結論將會變成：
大腦可能被視為由“廣泛的”組成。可重用計算原語的陣列的基本單位。處理類似於套基本。在一個微處理器中的指令 - 可能並行連接在一起，就像我在其他地方（Marcus，Marblestone，＆Dean，2014）所論證的那樣，在被稱為現場可程式設計閘陣列的可重新配置的積體電路類型中，豐富了指令集其中我們的計算系統建成只能是一件好事。
8. 現在和未來。也許深度學習現在不起作用，但它的不斷反覆運算會讓我們達到AGI。有可能。我認為深度學習可能會使我們加入AGI，如果一些關鍵的東西（許多還沒有被發現）被首先添加的話。
但是，我們補充說的是，將未來的系統稱為深度學習本身，還是更為明智地稱為“深度學習的某種特定的系統”，這取決於深度學習在哪裡適合最終的解決方案。也許，例如，在真正充分的自然語言理解系統中，符號處理將扮演深度學習同樣重要的角色，或者更重要的角色。
這裡的部分問題當然是術語。最近一位很好的朋友問我，為什麼我們不能稱符號處理為深度學習？對此我作出回應：為什麼不把包含符號處理的所有東西稱為包含深度學習的東西呢？
基於梯度的優化應該得到應有的效果，符號處理也應該是這樣，它是系統地表示和實現高級抽象的唯一已知工具，它基本上覆蓋了世界上所有複雜的電腦系統，從試算表到程式設計環境到作業系統。
最後，我猜想，信用也將歸結於兩者之間的不可避免的聯姻，混合系統是20世紀50年代初期發展起來的，將符號處理和神經網路這兩個偉大思想結合在一起。其它尚未發明的新工具也可能至關重要。
對於一個真正的深度學習的輔助者來說，任何東西都是深度學習，無論它是如何融合的，不管它與現在的技術有什麼不同。如果用一個神經元代替經典的符號微處理器中的每個電晶體，但是保持晶片的邏輯完全不變，一個真正的深度學習輔助者仍然會宣告勝利。但是，如果我們把所有的東西放在一起，我們就不會理解推動（最終）成功的原則。 [注6]
9．沒有機器可以推斷。期望一個神經網路從偶數推斷到奇數是不公平的。這是一個用二進位數字字表示的函數。
f(110) = 011;
f(100) = 001;
f(010) = 010.
f(111)是什麼?
如果你是一個普通人，你可能會猜答案是111.如果你是我討論過的那種神經網路，你可能不會。
如果你多次被告知神經網路中的“抽象函數”隱藏層，你可能會有點驚訝。
如果你是一個人，你可能會想到這個函數就像“反轉”一樣，很容易用一行電腦代碼來表示。如果你是某種神經網路的話，很難從這種情況下學習反轉的抽象概念。但真的不可能嗎？如果你有一個先前的整數概念，則是有可能的。再試一次，這次在十進位：f（4）= 8; f（6）= 12.f（5）是什麼？
當然，這個函數不像其他所有的函數那樣，是由稀少的例子決定的。但是大多數人會回答f（5）= 10。
同樣有趣的是，大多數標準多層感知器（代表二進位數字字的數字）不會這樣回答。除了François Chollet之外，神經網路社區的許多人都不願意接受這種想法。
重要的是，認識到一個規則適用於任何整數是大致相同的一種泛化，使人們能夠認識到一個新名詞可以用於其他各種各樣的上下文中。從我第一次聽到blicket這個詞被用作賓語，我猜到它會適合各種各樣的框架。而且我也可以生成和解釋這樣的句子，而不需要進一步的訓練。blicket是否與我所聽到的其他詞語的音韻類似，或者我將這個詞作為主語或賓語都不重要。如果大多數機器學習範式都存在這種問題，那麼我們應該在大多數ML範式中遇到問題。
我是否“公平”？是，也不是。的確，我正在要求神經網路做一些違背假設的事情。
例如，一個神經網路宣導者可能會說，“嘿，等一下，在你的逆向例子中，你的輸入空間有三個維度，代表左邊的二進位數字字，中間的二進位數字字和最右邊的二進位數字字。最右邊的二進位數字字在訓練中僅為零;當你到達那個位置時，網路無法知道該做什麼。”
例如，康奈爾大學博士後Vincent Lostenlan說：“我不明白你在3.11.上試圖證明什麼。f是在輸入空間中的（n-1）維超立方體的頂點上訓練的恒等函數。你怎麼會對DNN，甚至是任何ML模式沒有“泛化”到第n個dim而感到驚訝呢？
Dietterich基本上提出了同樣的觀點，更為簡潔：“馬庫斯抱怨DL不能推斷，但沒有任何方法可以推斷。”
儘管對深度學習來說，odds-and-evens很難實現，這種情況下二人的觀點都是都是正確的。但對於更大的問題來說，他們的觀點是是錯誤的，原因有三。
首先，人不可能無法推斷。
對於那些深深地沉浸在當代機器學習中的人來說，我的幾率問題似乎是不公平的，因為某個維度（包含最右邊數字1的那個維度）在培訓體系中沒有被說明。但是，當你作為一個人，看看我上面的例子，你將不會受到訓練資料中的這個特定差距的阻礙。你甚至不會注意到它，因為你的注意力是在更高層次的規則。
人們經常按照我所描述的方式進行推斷，比如從上面給出的三個訓練樣例中識別字串反轉。從技術上講，這是外推，而你剛剛做到了。在《Algebraic Mind》中，我將這種特定的外推法稱為在訓練樣例空間之外推廣普遍量化的一對一映射。在一個領域，如果我們要趕上人類學習，即使這意味著要改變我們的假設，我們迫切需要解決這個挑戰。
現在可以合理地反對，這不是一個公平的戰鬥：人類在推廣這樣的映射時顯然依賴於先驗知識。
但從某種意義上說，神經網路並沒有一個好方法，把正確的先驗知識結合到這個地方。正是因為這些網路沒有一種方法來結合諸如“無限類的所有元素的許多概括”等先驗知識，那些缺乏變數操作的神經網路會失敗。正確的先驗知識將允許神經網路獲取並表示普遍量化的一對一映射。除了某些有限的方式，標準神經網路不能代表這種映射。
其次，現在的深度學習或其他方式不能用我所描述的方式進行外推；其他的架構可能再次處於波濤洶湧的水中，但這並不意味著我們不應該試圖遊到岸邊。如果想要達到通用人工智慧，我們必須解決這個問題。
第三，目前沒有任何進行推斷的系統被證明是錯誤的。已經有ML系統可以推斷出我所描述的至少一些功能，你可能自己就有一個：Microsoft Excel，它的Flash Fill功能（Gulwani，2011）。由一個與機器學習非常不同的方法支持，它可以做一些外推，例如，嘗試輸入一系列（十進位）數位1,11,21，看看是否系統可以通過Flash Fill推斷到序列（101）中的第十一項。
擾亂警報，即使在百位元數字的訓練維度中沒有正面的例子，它也可以完全如您所願。系統從例子中學習你想要的功能並推斷它。這簡直是小菜一碟。任何深度學習系統都可以通過三個訓練實例來做到這一點。
只有那些可能這樣做的也許是在變數上運行的混合體，這與大多數人認為與深度學習相關的那種典型卷積神經網路是完全不同的。
把所有這一切做得非常不同，一個粗略的方法就是考慮我們今天大多數ML系統的位置（注7），它們的目的並不是為了“思考”。人類比當代人工智慧更擅長思考問題，我不認為有人會質疑這一點。
但是，如果微軟能夠在狹窄的語境下進行這種推斷，而沒有機器可以處理類似人類的廣度，那麼想要達到AGI，機器學習工程師真正應該去做的就是要去解決這個問題。
10. 領域裡每個人都已經知道這一點了。沒有什麼新東西很顯然不是每個人都知道，如前所述，有很多批評者認為我們還不知道深度學習的局限性，還有些人認為深度學習可能會有一些局限，但目前我們還沒有發現。
但話說回來，我從來沒有說過我的觀點是全新的，我提出的幾乎所有論點，都引用了其他學者，他們獨立地得出了類似的結論。
11. 馬庫斯沒有引用誰誰誰這一點確實如此；文獻綜述是不完整的。我沒能引用Shanahan的深度符號強化（Garnelo，Arulkumaran，＆Shanahan，2016）；我也無法相信，我竟然忘了Richardson和Domingos（2006）的瑪律科夫邏輯網路。要是我當時引用Evans和Edward Grefenstette（2017）就好了，那是DeepMind的一篇很好的論文。此外，還有Smolensky的張量微積分工作（Smolensky等，2016），以及Noah Goodman（Goodman，Mansinghka，Roy，Bonawitz ＆Tenenbaum，2012）各種形式的歸納程式設計（Gulwani等，2015）和概率程式設計。所有這些努力都將規則和網路聯繫在一起。
還有喬丹·波拉克（Jordan Pollack）等先驅（Smolensky et al.，2016）,Forbus和Gentner（Falkenhainer，Forbus ＆Gentner，1989），以及Hofstadter和Mitchell（1994）的類比工作，還有其他許多人。我相信我還有更多的東西可以引用。
總的來說，我試圖做到有代表性而不是全面，但我 原本可以做得更好。
12、馬庫斯不瞭解深度學習，他不是從業者，只是評論家我很猶豫要不要提出這一點，但是有很多人都提到了這個問題，包括一些知名的專業人士。正如Ram Shankar所說：“作為一個社區，我們必須把批評限制在科學和基於貢獻的討論之內。”真正重要的不是我的資格（我相信事實上我確實有資格寫），而是論證的有效性。
我的論點要麼是對的，要麼不是。
13、回復：Socher的樹RNN（Tree-RNN）又如何？我已經寫信給他，希望能對當前狀況有更好的理解。我也在私下裡推動幾個團隊嘗試Lake和Baroni（2017）提出的方法。
Pengfei等人（2017）也提出了一些很有意思的討論。
14、你應該更批判地審視深度學習並沒有很多人提到這一點，話也不是這樣說的，但是，有些人在私下裡跟我提過，與上述觀點十分類似。
有一位同事向我指出，關於未來預測，現在或許存在一些嚴重的問題
現在有種感覺是，成功的速度會呈指數級快速增長……更有可能的情況是，我們身處一個寬闊的平臺，看見很多低垂的果實，但是一旦這些果實消失，向深層推理的進展將會變慢。此外，現在我們能以95%的精確度識別貓，但還不清楚為什麼憑此人們就該認為，我們可以很容易地實現AGI，解決道德，倫理等難題。前一類問題可能存在於更為複雜的空間中。
同時，這位同事還補充說：
研究人員在某些領域過於急切地宣佈成果。例如影像處理：我們已經發現了一類問題，電腦十分擅長，但同時電腦使用的演算法可能遭到對抗性攻擊。而且，當電腦出錯的時候，往往錯得莫名其妙，現實與結果大相徑庭。而人類則不同，在街上行駛時，我可能會把一棵樹錯看成一個燈柱，但我錯得不會太離譜（因為我深深地理解了意義和場景）。確實，這些局限性經常得到報導，但也有這樣一個基本觀點：由於ImageNet的結果，電腦在圖像識別方面比人更加厲害。
機器學習研究者和作家Pedro Domingos也指出，現在的深度學習還存在另一些我之前沒有提到的局限：
像其他靈活的監督式學習方法一樣，深度學習系統可能是不穩定的，因為稍微改變訓練資料，就可能導致最終模型的巨大變化。
系統可能需要大量的資料，哪怕實際上少一些也足夠。（特別是資料增強，是非常昂貴的，人類並不需要這一點。）
系統可能很脆弱：對資料的小改動就會導致災難性的失敗。例如，在數位資料集中翻轉黑白）（Hosseini，Xiao，Jaiswal ＆Poovendran，2017）。
Ribeiro，Singh和Guestrin（2016）發現，從ImageNet提取的資料集中，狼與狗之間的高度準確的區分結果是檢測狼的圖像中的白色雪塊得到的。因此，系統並不像我們想像的那樣準確。
在機器學習歷史上，到目前為止，每一種佔據主導地位的範式（比如上世紀80年代的神經網路，90年代的貝葉斯學習和2000年代的Kernel方法），都傾向於主導大約十年的時間。
正如Domingos指出的那樣，誰也不能保證類似的流行和衰退不會重演。神經網路先後幾次起起落落，最早從1957年羅森布拉特的第一個感知機那時起。我們不應該把週期性的熱度解讀為解決智慧的完整方案，至少在我看來，要解決智慧還需要幾十年的時間。
如果想要實現AGI，我們更應隨時要求自己，敏銳地意識到我們所面臨的挑戰。
原文連結：https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1
加入社群
新智元AI技術+產業社群招募中，歡迎對AI技術+產業落地感興趣的同學，加小助手微信號: aiera2015_1 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名-公司-職位；專業群審核較嚴，敬請諒解）。
此外，新智元AI技術+產業領域社群(智慧汽車、機器學習、深度學習、神經網路等)正在面向正在從事相關領域的工程師及研究人員進行招募。