2018年， 一切可能都會發生戲劇性的變化。
深度學習在2017年取得的那些不可思議的突破， 將在2018年全面爆發。 去年大量研究工作將轉移到日常的軟體應用中。
跟去年一樣， 我也將對2018年的深度學習發展方向展開預測。
1、多數深度學習硬體創業公司都將失敗
許多深度學習硬體創業公司將在2018年最終交付他們的晶片。 這些都是半成品， 因為他們會忘記提供優秀的軟體來支援這些新解決方案。 這些公司的DNA都在於硬體。 不幸的是， 在深度學習領域， 軟體同樣重要。 這些創業公司大多不懂軟體， 也不了解開發軟體的成本。 這些公司可能會提供晶片， 但卻沒有任何東西會在這些晶片上運行。
採用收縮陣列解決方案是一種較易達成的目標， 目前已經被採用， 所以我們不會像在2017年那樣看到很多10倍規模的性能升級。 研究人員不僅會用這些Tensor Core進行推理， 還可以加快訓練速度。
英特爾的解決方案將繼續推遲， 可能會令人失望。 記錄表明， 英特爾無法在2017年年中發佈這款產品， 誰也無法預測該公司何時能推出這款產品。 如果為時已晚， 那就只能變成一顆啞彈。
穀歌將繼續憑藉TPU的開發給世界帶來驚喜。 穀歌或許會進入硬體業務，
2、元學習將成為新的SGD
2017年， 元學習領域湧現出很多意義重大的研究。 隨著研究界對元學習的理解整體得到提升， 傳統的隨機梯度下降法（SGD）將被邊緣化， 轉向更有效的方法， 將更具爆發性和探索性的搜索方法結合起來。
無監督學習的進步將會逐步加快， 但主要將受到元學習演算法的推動。
3、生成模型推動新型建模
生成模型將具備更多的科學探索意義。 目前的多數研究都是生成圖像和語音。 然而， 我們應該看到這種方法融合到一些工具之中， 用來為複雜的系統建模。 其中一個領域是用深度學習建立經濟模型。
4、通過自我對局來自動化創建知識
能夠從頭自學的AlphaGo Zero和AlphaZero是一場巨大的飛躍。 在我看來， 這跟深度學習的出現擁有同等程度的影響力。 深度學習發現了通用函數近似器。 而自學則發現了通用的知識創造。
預計自學式機器學習還將取得很多進展。
5、有直覺的機器將填補語義鴻溝
這是我最大膽的一項預測。 我們將填補有直覺的機器與理性機器之間的語義鴻溝。 對偶過程理論（包括兩個認知機器， 一個沒有模型， 另外一個有模型）將在我們開發新的人工智慧的過程中成為更加流行的概念。 人工直覺的概念不再是一個邊緣概念， 而是會在2018年成為更為人普遍接受的理念。
6、可解釋性無法實現——我們只能偽造
可解釋性有兩個問題。 較為人所知的問題在於， 解釋有很多規則， 人類不可能全部掌握。 第二個問題不太為人所知， 那就是機器會創造很多人類完全陌生且無法解釋的概念。 我們已經在AlphaGo Zero和AlphaZero的策略中看到這種現象。 人類認為這種舉動超出常規， 但它們或許只是沒有能力理解這種行為背後的邏輯而已。
我認為，這是個無法解決的問題。相反，機器將很擅長“偽造解釋”。簡單來說，可解釋的機器的目標是理解人類感到舒適的那些解釋，或者人類在直覺層面能夠理解的解釋。然而，在多數情況下，都無法對人類完全解釋清楚。
我們需要通過“偽造解釋”來提高深度學習的可解釋性。
7、深度學習研究資訊將會大量減少
2017年，人們已經很難跟上深度學習研究進度。ICLR 2018大會上提交的論文約有4000篇。研究人員需要一天閱讀10篇論文才能跟上這次大會的進度。
該問題在這一領域還在惡化，因為理論框架在這一過程中都很管用。要在理論上取得進步，就需要找到更先進的數學方法，讓我們能夠更好地展開分析。這並不容易，原因在於多數深度學習研究人員都沒有合適的數學背景，無法理解這些系統的複雜性。深度學習需要研究人員擁有複雜的理論基礎，但這種研究人員實際上卻很少。
由於論文數量太多，加之糟糕的理論層出不窮，導致我們陷入了如今這個令人不悅的狀態。
通用人工智慧的通用路線圖也有所缺失。理論很薄弱，因此我們能做的就是創造一份路線圖，上面配有很多與人類認知有關的里程碑。我們只有一個來自認知心理學的純理論框架。這種情況很糟糕，因為這些領域的實踐證據很匱乏。
深度學習研究論文的數量可能在2018年增長三四倍。
8、通過教學環境實現工業化
想要讓深度學習的發展更可預測、更易控制，就需要發展更加具體的教學環境。我之前有過詳細闡述。如果你想知道教學技術最為粗糙的表現形式，只需要看看深度學習網路是如何訓練的即可。我們都會在這一領域看到更多進步。
預計將有更多公司披露他們的內部基礎架構，從而揭示他們是如何大規模部署深度學習的。
9、對話式認知崛起
我們評估通用人工智慧的方法過於陳舊。需要通過一種新的範式來解決現實世界的複雜動態。我們未來一年應該看到這一領域出現更多進展。我將在3月1日和2日在阿姆斯特丹的Information Energy 2018大會上探討這種新的對話式認知範式。
10、我們要求對人工智慧的使用符合道德標準。
將有越來越多的人要求人工智慧的使用遵守道德標準。人們目前越發意識到自動化失控後產生的惡劣後果。Facebook、Twitter、穀歌、亞馬遜等平臺上使用的簡單的自動化技術都會產生意想不到的社會影響。
在部署那些能夠預測人類行為的機器時，我們需要理解其中的倫理道德問題。面部識別就是一項比較危險的功能。能夠生成以假亂真的媒體資料的演算法會成為大問題。整個社會都應該要求人工智慧為社會的整體利益考慮，而不能加劇社會的不平等。
預計未來一年將看到更多關於人工智慧倫理問題的討論。然而，應該不會有新的監管措施出臺。政策制定者還需要再過幾年才能真正理解人工智慧對社會的影響。我不認為他們會停止鬥爭，解決社會面臨的真正問題。美國人口受到很多安全問題的影響，但我們並沒有看到新的立法來解決這些嚴重問題。所以，不要奢望這些問題一夜之間得到解決。
為影響做好準備
2018年很重要，我們都應該系好安全帶，迎接即將到來的重大影響。
但它們或許只是沒有能力理解這種行為背後的邏輯而已。我認為，這是個無法解決的問題。相反，機器將很擅長“偽造解釋”。簡單來說，可解釋的機器的目標是理解人類感到舒適的那些解釋，或者人類在直覺層面能夠理解的解釋。然而，在多數情況下，都無法對人類完全解釋清楚。
我們需要通過“偽造解釋”來提高深度學習的可解釋性。
7、深度學習研究資訊將會大量減少
2017年，人們已經很難跟上深度學習研究進度。ICLR 2018大會上提交的論文約有4000篇。研究人員需要一天閱讀10篇論文才能跟上這次大會的進度。
該問題在這一領域還在惡化，因為理論框架在這一過程中都很管用。要在理論上取得進步，就需要找到更先進的數學方法，讓我們能夠更好地展開分析。這並不容易，原因在於多數深度學習研究人員都沒有合適的數學背景，無法理解這些系統的複雜性。深度學習需要研究人員擁有複雜的理論基礎，但這種研究人員實際上卻很少。
由於論文數量太多，加之糟糕的理論層出不窮，導致我們陷入了如今這個令人不悅的狀態。
通用人工智慧的通用路線圖也有所缺失。理論很薄弱，因此我們能做的就是創造一份路線圖，上面配有很多與人類認知有關的里程碑。我們只有一個來自認知心理學的純理論框架。這種情況很糟糕，因為這些領域的實踐證據很匱乏。
深度學習研究論文的數量可能在2018年增長三四倍。
8、通過教學環境實現工業化
想要讓深度學習的發展更可預測、更易控制，就需要發展更加具體的教學環境。我之前有過詳細闡述。如果你想知道教學技術最為粗糙的表現形式，只需要看看深度學習網路是如何訓練的即可。我們都會在這一領域看到更多進步。
預計將有更多公司披露他們的內部基礎架構，從而揭示他們是如何大規模部署深度學習的。
9、對話式認知崛起
我們評估通用人工智慧的方法過於陳舊。需要通過一種新的範式來解決現實世界的複雜動態。我們未來一年應該看到這一領域出現更多進展。我將在3月1日和2日在阿姆斯特丹的Information Energy 2018大會上探討這種新的對話式認知範式。
10、我們要求對人工智慧的使用符合道德標準。
將有越來越多的人要求人工智慧的使用遵守道德標準。人們目前越發意識到自動化失控後產生的惡劣後果。Facebook、Twitter、穀歌、亞馬遜等平臺上使用的簡單的自動化技術都會產生意想不到的社會影響。
在部署那些能夠預測人類行為的機器時，我們需要理解其中的倫理道德問題。面部識別就是一項比較危險的功能。能夠生成以假亂真的媒體資料的演算法會成為大問題。整個社會都應該要求人工智慧為社會的整體利益考慮，而不能加劇社會的不平等。
預計未來一年將看到更多關於人工智慧倫理問題的討論。然而，應該不會有新的監管措施出臺。政策制定者還需要再過幾年才能真正理解人工智慧對社會的影響。我不認為他們會停止鬥爭，解決社會面臨的真正問題。美國人口受到很多安全問題的影響，但我們並沒有看到新的立法來解決這些嚴重問題。所以，不要奢望這些問題一夜之間得到解決。
為影響做好準備
2018年很重要，我們都應該系好安全帶，迎接即將到來的重大影響。