新智元報導
作者：王楠
【新智元導讀】谷歌大腦負責人 Jeff Dean 今天上午在 UCSB 做了題為《通過大規模深度學習構建智慧系統》的演講。 新智元結合 UCSB CS 在 Twitter 的文字直播， 將這場最新演講整理如下。 Jeff Dean 談了穀歌大腦近來的工作進展， 包括最新發佈的 TensorFlow 1.0、將深度學習用於檢測癌症， 以及在自主機器學習方面的探索。 在問答環節， Jeff Dean 對人工智慧的未來表示樂觀， 說不認為 AI 的下一個冬天會到來。
谷歌大腦負責人 Jeff Dean 今天上午在美國加州大學聖塔芭芭拉分校（UCSB）做了題為《通過大規模深度學習構建智慧系統》的演講。
UCSB CS 在 Twitter 上做了全程文字直播。 作為穀歌 Senior Fellow、美國工程院院士， Jeff Dean 的號召力可見一斑。
房間裡坐滿了人——Jeff 來了！
UCSB CS 系主任 Ambuj Singh 首先上臺， 對 Jeff Dean 以及本次演講做了簡單的介紹。
熟悉的穀歌大腦標準 PPT 範本登場， 這次 Jeff Dean 的演講題目是《通過大規模深度學習構建智慧系統》。
上場後， Jeff Dean 對演講內容做了概述， 即介紹穀歌大腦過去 5 年的工作， 重點是去年底至今的研究， 比如 TensorFlow， 重點介紹在構建 TensorFlow 時所做的一些設計決策， 還有在將深度學習應用於 Google 產品中的各種問題， 包括醫療、機器人、自主機器學習， 以及機器學習硬體加速器。
Dean 說：“工作讓機器變得更智慧， 讓人類生活得更美好， 是我們的使命。 ”
深度學習在穀歌：超越人類水準
Jeff Dean 介紹， 穀歌在深度學習方面的工作， 始於他們在 2012 年 ICML上提交的關於無監督圖像學習的論文。
借助更強大的算力和更多的資料， 神經網路如今比其他方法更有效。
近年來， 深度學習已經在穀歌產品中得到了廣泛的使用。
TensorFlow 是開源機器學習軟體平臺，目標是成為人工智慧的演算法引擎，不僅提供卷積、池化、LSTM 等深度學習基本元件，還有很多基本的計算操作。今年年初，穀歌圍繞演算法開發推出了 TensorFlow Serving，將演算法動態部署到線上。
在最新推出的 TensorFlow 1.0 裡面，穀歌推出了替代一系列新功能，比如 scikit-learn 的 tf.contrib.learn、加速動態圖計算的 TensorFlow Fold、支援 Java/Go 語言的介面，以及分散式實例等等。
Jeff Dean 說，TensorFlow 1.0 保證了 backward API 的相容性。
Dean 以 Github 的星級（Star）表明 TensorFlow 受歡迎的程度。Dean 還透露，現在 TensorFlow 有 475 個非穀歌的貢獻者。
在介紹穀歌對深度學習使用情況時，Jeff Dean 再次提到，在使用了深度學習的方法後，穀歌語音辨識的詞錯誤率下降了30%。
不僅如此，在醫療診斷領域，深度學習也展現了巨大的潛力。在這裡，Dean 以深度學習説明醫學圖像檢測糖尿病為例。
Jeff Dean 說，就在上周，穀歌發佈了他們在病理學方面的進展，這項工作的挑戰在於大規模的圖像識別和檢測。“在一項研究中，我們的深度學習系統比病理學家表現得更好。” 他說。
根據 Google Research 官方博客，穀歌大腦的一些研究人員探索了將深度學習應用到數位化病理學的方法，通過開發自動檢測演算法，輔助病理學家檢測癌症圖像的工作。在實驗中，谷歌大腦開發的演算法表現與病理學家相當甚至更好——更好主要體現在兩方面，一是時間，二是準確率。
淋巴結活組織檢查特寫圖。圖中顯示的組織包含了乳腺癌細胞和巨噬細胞，兩者外觀十分相似。谷歌的演算法成功識別了出了腫瘤區域（以亮綠標識），沒有被巨噬細胞所迷惑。
谷歌大腦研究人員在博文中寫道，“演算法的 FROC 得分達到了 89%，大大超過了病理學家無時間限制進行診斷的得分（73%）”。此外，研究人員表示，他們的模型泛化能力很好，在不同醫院使用不同掃描器得到的圖片都能使用。想要瞭解更多，可參考我們的論文。
接下來，Dean 介紹了谷歌在機器人、機器翻譯等方面使用深度學習的情況。
“我們正在把深度學習和機器人結合在一起。”
“2009年，你說收件箱能做智能回復還是個愚人節笑話，2015年以後已經是現實了。”
“在谷歌翻譯中使用seq2seq，使得全球溝通更加順暢。”
用超強大的計算力，讓機器學習演算法不再成為問題
在介紹機器學習硬體加速器的時候，Jeff Dean 說我們需要更大、更稀疏的模型（ bigger models, but sparsely activated）。
對深度學習來說，計算能力十分關鍵。
Jeff Dean 在演講中提到，當前的做法是：
解決方案 = 機器學習（演算法）+ 資料 + 計算力
未來有沒有可能變為：
解決方案 = 資料 + 100 倍的計算力？
因此，穀歌大腦在積極研究機器學習加速器。
Jeff Dean 以谷歌自主開發的 TPU 為例子。
TPU 不是別的，正是穀歌專為機器學習應用自己研發的加速器，也是 AlphaGo 打敗李世石的秘密武器。TPU 的消息在去年穀歌 I/O 大會公佈出來，引發業界震動。雖然穀歌表示，TPU 是輔助 GPU 用的，並不會替代 GPU。
但是，研發 TPU 的項目是秘密進行的，而且在消息發佈前，穀歌已經在內部使用了這款晶片大約一年的時間，包括用於穀歌搜索的 RankBrain 演算法。種種跡象，都不得不讓以英偉達為代表的深度學習加速器開發商心生警惕。
Jeff Dean 在演講中說，我們需要更多的計算能力，對於某些機器學習任務來說，降低計算精度是不錯的選擇。
根據穀歌 TPU 團隊主要負責人、被谷歌挖去專門研發 TPU 的硬體大牛 Norm Jouppi 在 Google Research 博客的介紹，TPU 專為機器學習應用打造，可以降低精度運算，因而能夠在同樣時間內處理更複雜、更強大的機器學習模型，並更快地將這些模型投入使用，使用者也能得到更快速、更智慧的回復，從而形成一個正迴圈。
Jeff Dean 也在演講中展示了 TPU 的兩個主要貢獻，一個是計算不需要高精度，一個是做 ASIC 是因為只有少部分的功能需要加速，比如矩陣乘。
自主機器學習，讓機器學會學習
演講的最後一個話題是近來大家都很關注的機器自主程式設計。
Jeff Dean 介紹說，穀歌大腦最近的一個研究熱點是自主機器學習，也即讓機器學會學習。在此前的 AI Frontiers 會議上，Jeff Dean 也表示，目前人工智慧領域解決問題所需的就是機器學習技術、計算和資料，我們能否減少對這種技術本身的需求呢？他認為是可能的。“自動機器學習”這個方向正是他來到的 Google Brain 團隊正在積極探索的最有希望的領域之一。”
在這方面，穀歌從兩個方向開展了探索，一是強化學習。Dean 說，強化學習很有希望用於構建能夠生成模型的模型。
近年來，深加強學習（RL）系統已經在許多富有挑戰性的任務領域中獲得了超人的性能。然而，這種應用的主要限制是它們對大量訓練資料的需求。因此，關鍵的目前的目標是開發可以快速適應新任務的深度 DL 方法。
與此相關的一項工作，是 DeepMind 的研究人員今年年初與 UCL 的神經科學家合作，讓演算法《學習強化學習》（Learning to reinforcement learn）。“在目前的工作中，我們引入了一種新的方法來應對這種挑戰，我們稱之為深度元強化學習。以前的工作表明，遞迴網路（RNN）可以在完全監督的上下文中支持元學習。我們將這種方法擴展到 RL 設置。由此出現的是一個使用一種 RL 演算法訓練的系統，但是其遞迴的動力卻來自另一個完全獨立的 RL 過程。這個獨立的、習得的 RL 演算法可以以任意方式與原始演算法不同。重要的是，因為它是經過訓練習得的，這個演算法在配置上（configured）利用訓練領域中的結構。”
論文描述了研究人員在一系列共計 7 個概念驗證實驗中證明了上述觀點，每個實驗都檢查深度元 RL 的一個關鍵方面。具體可以閱讀論文 https://arxiv.org/pdf/1611.05763v2.pdf
另一項相關的研究，是穀歌大腦使用強化學習搜索神經網路架構。此外，新智元對相關論文做過報導。
摘要
我們將首先描述一種簡單的方法，利用遞迴網路結構生成卷積網路結構。我們將闡明如何利用策略梯度法訓練遞迴神經網路，從而使神經網路樣品的準確性實現最大化。在我們的核心方法中有幾處提升，如形成跳躍聯繫來提高模型的複雜度，採用參數伺服器加快訓練速度。在本章節的最後一部分，我們的研究重點在於生成遞迴網路結構，這是本文的另一個要點。
神經網路搜索示意圖（圖上關鍵字上右下左依次為）樣品模型A與可能性P、訓練兒童神經網路A來獲取精確度R、計算P的梯度並以精確度R定義範圍來更新控制器、控制器(遞迴神經網路)
關於自主機器學習，另一大方向是演化演算法，Jeff Dean 在演講中說，“我們還在演化方法上做了探索，使用演化演算法自動搜索（可行的）模型架構”。
以上即為 Jeff Dean 演講的主要內容。
最後，在問答環節，有人問 Jeff Dean 他認為下一個人工智慧的冬天會到來嗎。Jeff Dean 說不會，現在計算能力和可以用的資料都比以往好太多了。Jeff Dean 對人工智慧的未來表示樂觀。
TensorFlow 是開源機器學習軟體平臺，目標是成為人工智慧的演算法引擎，不僅提供卷積、池化、LSTM 等深度學習基本元件，還有很多基本的計算操作。今年年初，穀歌圍繞演算法開發推出了 TensorFlow Serving，將演算法動態部署到線上。
在最新推出的 TensorFlow 1.0 裡面，穀歌推出了替代一系列新功能，比如 scikit-learn 的 tf.contrib.learn、加速動態圖計算的 TensorFlow Fold、支援 Java/Go 語言的介面，以及分散式實例等等。
Jeff Dean 說，TensorFlow 1.0 保證了 backward API 的相容性。
Dean 以 Github 的星級（Star）表明 TensorFlow 受歡迎的程度。Dean 還透露，現在 TensorFlow 有 475 個非穀歌的貢獻者。
在介紹穀歌對深度學習使用情況時，Jeff Dean 再次提到，在使用了深度學習的方法後，穀歌語音辨識的詞錯誤率下降了30%。
不僅如此，在醫療診斷領域，深度學習也展現了巨大的潛力。在這裡，Dean 以深度學習説明醫學圖像檢測糖尿病為例。
Jeff Dean 說，就在上周，穀歌發佈了他們在病理學方面的進展，這項工作的挑戰在於大規模的圖像識別和檢測。“在一項研究中，我們的深度學習系統比病理學家表現得更好。” 他說。
根據 Google Research 官方博客，穀歌大腦的一些研究人員探索了將深度學習應用到數位化病理學的方法，通過開發自動檢測演算法，輔助病理學家檢測癌症圖像的工作。在實驗中，谷歌大腦開發的演算法表現與病理學家相當甚至更好——更好主要體現在兩方面，一是時間，二是準確率。
淋巴結活組織檢查特寫圖。圖中顯示的組織包含了乳腺癌細胞和巨噬細胞，兩者外觀十分相似。谷歌的演算法成功識別了出了腫瘤區域（以亮綠標識），沒有被巨噬細胞所迷惑。
谷歌大腦研究人員在博文中寫道，“演算法的 FROC 得分達到了 89%，大大超過了病理學家無時間限制進行診斷的得分（73%）”。此外，研究人員表示，他們的模型泛化能力很好，在不同醫院使用不同掃描器得到的圖片都能使用。想要瞭解更多，可參考我們的論文。
接下來，Dean 介紹了谷歌在機器人、機器翻譯等方面使用深度學習的情況。
“我們正在把深度學習和機器人結合在一起。”
“2009年，你說收件箱能做智能回復還是個愚人節笑話，2015年以後已經是現實了。”
“在谷歌翻譯中使用seq2seq，使得全球溝通更加順暢。”
用超強大的計算力，讓機器學習演算法不再成為問題
在介紹機器學習硬體加速器的時候，Jeff Dean 說我們需要更大、更稀疏的模型（ bigger models, but sparsely activated）。
對深度學習來說，計算能力十分關鍵。
Jeff Dean 在演講中提到，當前的做法是：
解決方案 = 機器學習（演算法）+ 資料 + 計算力
未來有沒有可能變為：
解決方案 = 資料 + 100 倍的計算力？
因此，穀歌大腦在積極研究機器學習加速器。
Jeff Dean 以谷歌自主開發的 TPU 為例子。
TPU 不是別的，正是穀歌專為機器學習應用自己研發的加速器，也是 AlphaGo 打敗李世石的秘密武器。TPU 的消息在去年穀歌 I/O 大會公佈出來，引發業界震動。雖然穀歌表示，TPU 是輔助 GPU 用的，並不會替代 GPU。
但是，研發 TPU 的項目是秘密進行的，而且在消息發佈前，穀歌已經在內部使用了這款晶片大約一年的時間，包括用於穀歌搜索的 RankBrain 演算法。種種跡象，都不得不讓以英偉達為代表的深度學習加速器開發商心生警惕。
Jeff Dean 在演講中說，我們需要更多的計算能力，對於某些機器學習任務來說，降低計算精度是不錯的選擇。
根據穀歌 TPU 團隊主要負責人、被谷歌挖去專門研發 TPU 的硬體大牛 Norm Jouppi 在 Google Research 博客的介紹，TPU 專為機器學習應用打造，可以降低精度運算，因而能夠在同樣時間內處理更複雜、更強大的機器學習模型，並更快地將這些模型投入使用，使用者也能得到更快速、更智慧的回復，從而形成一個正迴圈。
Jeff Dean 也在演講中展示了 TPU 的兩個主要貢獻，一個是計算不需要高精度，一個是做 ASIC 是因為只有少部分的功能需要加速，比如矩陣乘。
自主機器學習，讓機器學會學習
演講的最後一個話題是近來大家都很關注的機器自主程式設計。
Jeff Dean 介紹說，穀歌大腦最近的一個研究熱點是自主機器學習，也即讓機器學會學習。在此前的 AI Frontiers 會議上，Jeff Dean 也表示，目前人工智慧領域解決問題所需的就是機器學習技術、計算和資料，我們能否減少對這種技術本身的需求呢？他認為是可能的。“自動機器學習”這個方向正是他來到的 Google Brain 團隊正在積極探索的最有希望的領域之一。”
在這方面，穀歌從兩個方向開展了探索，一是強化學習。Dean 說，強化學習很有希望用於構建能夠生成模型的模型。
近年來，深加強學習（RL）系統已經在許多富有挑戰性的任務領域中獲得了超人的性能。然而，這種應用的主要限制是它們對大量訓練資料的需求。因此，關鍵的目前的目標是開發可以快速適應新任務的深度 DL 方法。
與此相關的一項工作，是 DeepMind 的研究人員今年年初與 UCL 的神經科學家合作，讓演算法《學習強化學習》（Learning to reinforcement learn）。“在目前的工作中，我們引入了一種新的方法來應對這種挑戰，我們稱之為深度元強化學習。以前的工作表明，遞迴網路（RNN）可以在完全監督的上下文中支持元學習。我們將這種方法擴展到 RL 設置。由此出現的是一個使用一種 RL 演算法訓練的系統，但是其遞迴的動力卻來自另一個完全獨立的 RL 過程。這個獨立的、習得的 RL 演算法可以以任意方式與原始演算法不同。重要的是，因為它是經過訓練習得的，這個演算法在配置上（configured）利用訓練領域中的結構。”
論文描述了研究人員在一系列共計 7 個概念驗證實驗中證明了上述觀點，每個實驗都檢查深度元 RL 的一個關鍵方面。具體可以閱讀論文 https://arxiv.org/pdf/1611.05763v2.pdf
另一項相關的研究，是穀歌大腦使用強化學習搜索神經網路架構。此外，新智元對相關論文做過報導。
摘要
我們將首先描述一種簡單的方法，利用遞迴網路結構生成卷積網路結構。我們將闡明如何利用策略梯度法訓練遞迴神經網路，從而使神經網路樣品的準確性實現最大化。在我們的核心方法中有幾處提升，如形成跳躍聯繫來提高模型的複雜度，採用參數伺服器加快訓練速度。在本章節的最後一部分，我們的研究重點在於生成遞迴網路結構，這是本文的另一個要點。
神經網路搜索示意圖（圖上關鍵字上右下左依次為）樣品模型A與可能性P、訓練兒童神經網路A來獲取精確度R、計算P的梯度並以精確度R定義範圍來更新控制器、控制器(遞迴神經網路)
關於自主機器學習，另一大方向是演化演算法，Jeff Dean 在演講中說，“我們還在演化方法上做了探索，使用演化演算法自動搜索（可行的）模型架構”。
以上即為 Jeff Dean 演講的主要內容。
最後，在問答環節，有人問 Jeff Dean 他認為下一個人工智慧的冬天會到來嗎。Jeff Dean 說不會，現在計算能力和可以用的資料都比以往好太多了。Jeff Dean 對人工智慧的未來表示樂觀。