編者按：不久前紐約大學心理學教授、Uber人工智慧實驗室前負責人、人工智慧創業公司Geometric Intelligence創始人Gary Marcus給深度學習潑了10次涼水， 指出了這種人工智慧方法存在的諸多限制。 這次《人工直覺與深度學習手冊》作者Carlos E. Perez開始針鋒相對， 逐條予以反擊。 總的說來， 這是直覺機器與代數思維的路線之爭， 究竟誰更有道理呢？看誰先實現AGI吧。
對於Gary Marcus有關深度學習的限制， 我至少欠他一個更詳細的解釋。 那些研究人員在研究深度學習時沒有盡職的問題在於， 其實他們並不理解這一領域取得的大規模進展。 通過把恐懼、不確定和懷疑（FUD）注入這個最有可能實現AGI（通用人工智慧）的學習領域， 其實他們是在幫倒忙。 更大的問題不在於其他AGI研究活動得到的資金變稀少了， 而是中國相對於美國和歐洲， 資助這方面的政府開支要大得多。
有點跑題了啊， 不過我的確把Marcus的每一條質疑都好好看過了，
如果離開了自動化物件跟環境的交互機制， 任何有關實現AGI的對話都是不完整的：
深度學習是非常好的通用逼近器（我們現有最好的一個）， 當然， 除了學習模式以外AGI還需要更多。 我已經在之前的文章中寫過了。 不過， 除非有人構思出了更好的模式識別器， 否則的話AGI的發展還將繼續由深度學習推動。 吸收了逼近器的現金方法有很多。 GAN引入了競爭學習的思路， 將識別器與生成器進行結合。 RL+DL表明， 通過利用Q-learing演算法和DL， 僅靠觀察圖元來學習是有可能的。 AlphaZero通過MCTS（蒙特卡洛樹） + DL表明， 通過自己跟自己下棋就能形成更先進的策略。
好了， 現在我們要搬出Gary Marcus的觀點看看用深度學習（或者直覺機器）可以如何解決了。
3.1. 迄今為止的深度學習對資料非常饑渴
這是因為大多數實驗裝置都是要從零開始對環境沒有任何的先驗知識。 相反， 人類嬰兒在這一點上有著永恆的進化優勢。
不過， 如果我們看看AlphaZero的最新進展的話， 那麼這種需要大量資料的限制似乎已經被消除了。 AlphaZero學會下出大師級水準， 但是卻不需要從棋譜中學習。 相反， 它僅僅靠定義了棋類的規則就做到了這一點。
要是無視這一點風險就得你自己承擔了。
3.2. 迄今為止的深度學習很膚淺遷移能力有限
我們對深度學習的遷移學習的理解仍在初期階段。 在用於類似領域是我們已經目睹過遷移學習的進展。 舉個例子， 對預先訓練過的網路進行訓練的話培訓會變得更快。 這一領域令人印象最為深刻的進展就是高解析度圖像的生成。 這讓我們通過逐步從較小規模的網路學習慢慢搭建出一個更大的能力更強的網路。
然而， 我們還無法訓練網路做的事情是， 學會知道哪些是不變的東西， 這樣才能去學習那些重要的東西。 深度學習似乎什麼都學， 我們也不理解如何才能區分對另一個領域不重要的東西。 比方說， 如果你改變一個視頻遊戲的維度， 受訓萬這個遊戲的RL+DL系統就沒法玩下去了。 這種規模變化讓學習模型陷入了困境。
這是一個有趣的問題， 但看起來並不像是無法克服。
3.3. 迄今為止的深度學習沒有應對層次結構的自然手段
基本上， 深度學習是在沒有理解層次概念的情況下連續向量空間內建立起表示的。 然而， 像Capsule Network、Hyperbolic空間以及Graph Convolutional Network（圖卷積網路）等工作都能捕捉這些分層。
DL方面每年都有成千上萬的論文發表。 我想Marcus繁忙的排程能跟得上這些文獻的閱讀。
3.4. 迄今為止的深度學習仍搞不定開放式推理
對非靜態環境下有著多個競爭與合作共存的神經網路的新的研究論文現在已經有發表了。開放式要求在資訊不完整的情況下建立起策略。這也是半監督學習領域的重要研究課題。這種情況下部分資訊是打了標籤的，但是大部分資訊都不是。深度學習系統已經表明它們在這個領域表現很好。
資訊不完整環境的一個例子是撲克遊戲。利用深度學習來玩競爭性很強的撲克遊戲已經取得了重大進展，它們打得非常好。
我可以大膽地說，最先進的開放式推理目前為深度學習型技術所統治。
3.5. 迄今為止的深度學習透明度不夠
這點沒錯，不過難道我們不應該在通用人工智慧的背景下來討論這個的嗎？人類自己的透明度就充分了嗎？
人類利用直覺進行的推理就像深度學習直覺機器做出的推理一樣令人費解。請讀讀我在解釋深度學習的時候對2018年做出的預測。
3.6. 迄今為止的深度學習沒有跟先驗知識整合
這個跟AGI也沒有關係。如果我要給洞穴人一個語義網路或者牛頓的運動方程式的話，他也沒法消化吸收進自己的知識庫。人類並沒有《駭客帝國》裡面的那種機制，只需要下載知識即可。
人類消化先驗知識的辦法是通過K-12學校課程，需要好幾年的教學。
不管怎樣，我們先暫時忽略這要求的荒謬。在NLP當中，那些應用了深度學習的，那些吸收了語義網路的識別引擎已經表明要比那些沒有的表現更好。
3.7. 迄今為止深度學習無法自行區分因果關係和關聯關係
普通人也沒法做到。這不是AGI的要求。
3.8. 深度學習假定世界基本上是穩定的，這可能會引起問題
深度學習最大的未解難題之一是學會如何遺忘。其重要性在於對世界的心智模式是如何建立的。當我們有了那種更高級的智慧，可以對世界以及某人的想像進行模擬和實驗時，你就可以瞭解到先驗知識是不正確的，因此也必須進行相應調整。
知道之前瞭解到的知識由於與現實世界觀察到的東西不一致而必須進行改變，這種可鍛性是很困難的技能。
再說了，哪怕是當今的美國總統都缺乏這種技能。
3.9. 迄今為止的深度學習從逼近性來說工作得不錯，但是它的答案往往不能完全信任
信任是一種突現社會行為。（除非它被編碼進區塊鏈）
如果無人車的底層技術採用的是深度學習的話我們能怎麼信任它呢？
我們信任它們是因為保險公司會進行測算然後開始對那些選擇自己開車的人收取較高價格。
建議你讀一下這篇文章來瞭解人類相容AI的複雜性。
3.10. 迄今為止的深度學習難以設計
說得沒錯，這正是深度學習有時候被稱為“深度點金術”的原因。不是每一次革命都不用付出努力的！
理想情況下我們想要結構更加生物性的系統。我在《靈感源自生物的架構》中提到過這些問題。如果你的確想要理解開發深度學習架構的複雜性，那麼也許你可以從這篇文章開始。
Marcus似乎把對精心設計的認知系統的要求與對AGI的要求弄混了。在某些情況下，它們的問題是有關聯的，但不是次次都是。
但這只是Gary Marcus對深度學習和AGI認知錯誤的一個原因。我們在人類身上找到的通用智慧並不是“代數思維”，相反而是直覺機器。這是我們對AGI的實現路徑看法上的不同。Marcus的代數思維讓我想到了創始論者提出的“智慧設計”。這種觀點認為，進化演進出一個眼睛是不可能的。然而，這個卻是深度學習研究人員的論斷。先天的認知機器可以通過學習方法而不是通過設計來發展起來。
我們可能會在不理解其工作機制的情況下發現AGI。在科學史上，理論很少會走在發現的前面。可能會發生的情況是深度學習方法會發現更先進的學習方法，引領我們走向AGI。這個跟AlphaGo或者AlphaZero發現的那種新的下棋方法未必有什麼不同。我們剛開始的時候以為它們的下法是演算法出問題，結果在人家下贏了之後才發現對方的天才。然而，哪怕我們回過頭來再去複盤，我們的理解也是有限的，人不不知道機器這麼下的動機。這是因為洞察作為直覺的結果永遠都是很難解釋的。
（36氪編譯組出品，未經允許嚴禁轉載。編輯：郝鵬程）
3.4. 迄今為止的深度學習仍搞不定開放式推理
對非靜態環境下有著多個競爭與合作共存的神經網路的新的研究論文現在已經有發表了。開放式要求在資訊不完整的情況下建立起策略。這也是半監督學習領域的重要研究課題。這種情況下部分資訊是打了標籤的，但是大部分資訊都不是。深度學習系統已經表明它們在這個領域表現很好。
資訊不完整環境的一個例子是撲克遊戲。利用深度學習來玩競爭性很強的撲克遊戲已經取得了重大進展，它們打得非常好。
我可以大膽地說，最先進的開放式推理目前為深度學習型技術所統治。
3.5. 迄今為止的深度學習透明度不夠
這點沒錯，不過難道我們不應該在通用人工智慧的背景下來討論這個的嗎？人類自己的透明度就充分了嗎？
人類利用直覺進行的推理就像深度學習直覺機器做出的推理一樣令人費解。請讀讀我在解釋深度學習的時候對2018年做出的預測。
3.6. 迄今為止的深度學習沒有跟先驗知識整合
這個跟AGI也沒有關係。如果我要給洞穴人一個語義網路或者牛頓的運動方程式的話，他也沒法消化吸收進自己的知識庫。人類並沒有《駭客帝國》裡面的那種機制，只需要下載知識即可。
人類消化先驗知識的辦法是通過K-12學校課程，需要好幾年的教學。
不管怎樣，我們先暫時忽略這要求的荒謬。在NLP當中，那些應用了深度學習的，那些吸收了語義網路的識別引擎已經表明要比那些沒有的表現更好。
3.7. 迄今為止深度學習無法自行區分因果關係和關聯關係
普通人也沒法做到。這不是AGI的要求。
3.8. 深度學習假定世界基本上是穩定的，這可能會引起問題
深度學習最大的未解難題之一是學會如何遺忘。其重要性在於對世界的心智模式是如何建立的。當我們有了那種更高級的智慧，可以對世界以及某人的想像進行模擬和實驗時，你就可以瞭解到先驗知識是不正確的，因此也必須進行相應調整。
知道之前瞭解到的知識由於與現實世界觀察到的東西不一致而必須進行改變，這種可鍛性是很困難的技能。
再說了，哪怕是當今的美國總統都缺乏這種技能。
3.9. 迄今為止的深度學習從逼近性來說工作得不錯，但是它的答案往往不能完全信任
信任是一種突現社會行為。（除非它被編碼進區塊鏈）
如果無人車的底層技術採用的是深度學習的話我們能怎麼信任它呢？
我們信任它們是因為保險公司會進行測算然後開始對那些選擇自己開車的人收取較高價格。
建議你讀一下這篇文章來瞭解人類相容AI的複雜性。
3.10. 迄今為止的深度學習難以設計
說得沒錯，這正是深度學習有時候被稱為“深度點金術”的原因。不是每一次革命都不用付出努力的！
理想情況下我們想要結構更加生物性的系統。我在《靈感源自生物的架構》中提到過這些問題。如果你的確想要理解開發深度學習架構的複雜性，那麼也許你可以從這篇文章開始。
Marcus似乎把對精心設計的認知系統的要求與對AGI的要求弄混了。在某些情況下，它們的問題是有關聯的，但不是次次都是。
但這只是Gary Marcus對深度學習和AGI認知錯誤的一個原因。我們在人類身上找到的通用智慧並不是“代數思維”，相反而是直覺機器。這是我們對AGI的實現路徑看法上的不同。Marcus的代數思維讓我想到了創始論者提出的“智慧設計”。這種觀點認為，進化演進出一個眼睛是不可能的。然而，這個卻是深度學習研究人員的論斷。先天的認知機器可以通過學習方法而不是通過設計來發展起來。
我們可能會在不理解其工作機制的情況下發現AGI。在科學史上，理論很少會走在發現的前面。可能會發生的情況是深度學習方法會發現更先進的學習方法，引領我們走向AGI。這個跟AlphaGo或者AlphaZero發現的那種新的下棋方法未必有什麼不同。我們剛開始的時候以為它們的下法是演算法出問題，結果在人家下贏了之後才發現對方的天才。然而，哪怕我們回過頭來再去複盤，我們的理解也是有限的，人不不知道機器這麼下的動機。這是因為洞察作為直覺的結果永遠都是很難解釋的。
（36氪編譯組出品，未經允許嚴禁轉載。編輯：郝鵬程）