本文系原創 首發黑智（VR-2014）
去年， 一輛奇怪的自動駕駛汽車被放到了新澤西蒙茅斯縣的一條安靜的道路上。 這輛由晶片製造商Nvidia研製的實驗車與眾不同，
通過這種方式開車是一項令人印象深刻的壯舉。 但也令人不安， 因為你並不知道， 汽車是如何自己作出決定的。 來自車輛感測器的資訊， 直接進入巨大的人工神經元網路， 來處理資料， 然後傳送出操縱方向盤、刹車和其他系統的指令。 現在看這個結果， 似乎和我們期望的人類駕駛員的反應相匹配。 但是如果有一天， 它作出了意外的舉動——比如去撞了一棵樹， 或者在綠燈時待著不動呢？就目前情況來看，
這輛車的背後， 隱藏的是個迫在眉睫的問題， 那就是人工智慧的神秘的內心。 汽車中使用的人工智慧技術是深度學習， 在近年來， 它已經被證明是非常強大的解決問題的方式， 並已經被廣泛應用， 比如在圖像識別、語音辨識和語言翻譯中。 現在人們也希望， 同樣的技術能夠被用來改造更多的行業， 比如診斷致命的疾病、對百萬美元級的交易作出決策等等。
但這一切還沒有發生，
目前， 數學模型被用來説明確定誰取得假釋、誰批准了貸款、誰得到了就業機會。 如果你能接觸到這些數學模型， 就可以理解他們的推理。 但是銀行、軍事家、雇主和其他人， 正把注意力轉向更複雜的的機器學習方法， 自動決策， 正變得越來越不可思議。 深度學習， 這種最常見的方法， 代表了電腦程式設計的一種完全不同的方式。 “這個問題已經開始影響並且將在未來影響巨大， ”MIT機器學習應用教授Tommi Jaakkola說，
現在已經有一個爭論點是， 能夠詢問一個AI系統關於它是如何得出結論的， 是一項基本法律權利。 從2018夏季開始， 歐盟可能會要求公司們能給使用者解釋自動化系統如何作出決定。 但這可能是不可能的， 即使是對於那些表面上看起來相對簡單的系統， 比如使用深度學習服務推薦廣告或歌曲的網站和應用程式而言。 運行這些服務的電腦已經是自己程式設計了， 它們以我們無法理解的方式完成了它。 即使構建這些應用程式的工程師， 都不能完全解釋它們的行為。
這就提出了一個令人難以置信的問題。 隨著技術的進步，
藝術家Adam Ferriss用Google Deep Dream創作的圖像
2015，紐約的西奈山醫院（Mount Sinai Hospital）的一個研究小組受到啟發，將深度學習應用到醫院龐大的病人記錄資料庫中。這個資料集有數百個患者相關的變數，包括他們的測試結果、醫生訪問記錄等等。由此產生的程式，研究人員將其命名為Deep Patient，使用約700000人的資料對其進行了培訓，在進行測試時，它被證明是非常擅長預測疾病的。在沒有專家指導下，Deep Patient發現了隱藏在醫院資料中的模式，這些資料可以診斷出人們身上的各種疾病隱患，包括肝癌。Mount Sinai項目負責人Joel Dudley說，現在有很多“非常好”的方法可以預測疾病，但是，深度學習“是更好的方式”。
同時， Deep Patient也讓人困惑。它在預測精神分裂症方面出奇地出色。但是醫生診斷精神分裂症比較困難是眾所周知的，Dudley想知道，它是怎麼做的。但他失敗了。這種新的工具，沒有給他提供任何線索，它是怎麼做到這一點的。像Deep Patient這樣的程式，如果實際上我們是想要它來幫助醫生，那最理想的模式，仍然是給出預測理由，來保證結果是準確的，並且作為證明，例如，來修改患者用藥。“我們可以建立這些模型，”Dudley沮喪地說，“但我們不知道它們是如何工作的。”
人工智慧並不總是這樣。從一開始，就有兩個關於AI應該如何理解和解釋的學派。很多人認為，根據規則和邏輯推理機器是最有意義的，即它們的內部工作對任何想檢查某些代碼的人來說，都是透明的。另一些人則認為，如果機器是從生物學中獲得靈感，那麼通過觀察和體驗學習，智力就會更容易出現。這意味著對電腦程式設計的顛覆。不是程式師編寫命令來解決問題，而是程式基於資料，在自己的演算法的基礎上，生成結果輸出。機器學習後來演變成今天最強大的AI系統，遵循的就是後一種途徑，機器就是程式。
起初，這種應用還是有限的。在20世紀60-70年代，它還主要是集中在一些邊緣領域內。但覆蓋眾多行業的電子化和資料化進程，激發了更強大的機器學習技術的發展，特別是神經網路技術。到了上世紀90年代，神經網路已經可以將手寫字元轉化成數位字元。
然後直到最近10年，經過多次調整和改進，“大”而“深”的神經網路在自動感知方面獲得了巨大的進步，深度學習成為今天的AI爆炸的主要推動力。它賦予電腦非凡的能力，比如說幾乎可以像人一樣熟練地識別出語言的能力。深度學習改變了電腦視覺，大大改進了機器翻譯。它現在已經被用於指導醫學、金融、製造業和其他領域的各種關鍵決策。
任何機器學習技術的運作本質上是不透明的，對電腦科學家來說也一樣。但這並不是說所有的人工智慧技術，在未來都將同樣不可知。但從本質上看，深度學習還是一個特別黑的“黑箱”。
你不能從神經網路內部看出它是如何工作的。神經網路由成千上萬個神經元構成，它們排列成數十甚至上百個錯綜複雜的互連層。第一層中的神經元各自接收輸入信號，例如圖像中圖元的強度，然後在輸出新信號之前進行計算。這些輸出在複雜的網路中，被再下一層的神經元所接收，直到產生一個整體結果輸出。此外，還有反向傳播，通過回饋調整單個神經元，達到期望輸出。
深度神經網路中的許多層使它能夠在不同的抽象層次上識別事物。例如在識別狗的系統中，較低層識別簡單輪廓或顏色；更高層識別更複雜的東西，如毛皮或眼睛；最上層將它作為狗標注。簡單地說，同樣的方法也可以應用於機器引導自己的其他輸入：在語音中構成單詞的聲音，在文本中創建句子需要的字母和單詞，或自動駕駛所需的方向盤運動。
為了嘗試去捕捉和解釋在系統中發生了什麼，研究員們應用了巧妙的策略。2015年，穀歌的研究人員修改了一種基於深度學習的圖像識別演算法，這樣就不會產生照片中的物件，而是生成或修改它們。通過有效地反向運行該演算法，他們可以發現該程式用於識別，例如，鳥或建築物的功能。
由此產生圖像的專案，被稱為Deep Dream，它能表現出各種怪誕的圖形，雲彩和植物中出現像外星人一樣的動物，在森林和山脈中綻放出幻覺一樣的寶塔。這些圖像證明，深度學習並不是完全不可思議的，它們顯示出演算法也需要熟悉的視覺特徵，比如鳥喙和羽毛。但這些圖像也暗示了深度學習與人類感知的不同之處，比如它可能會讓放大我們知道但是忽略的東西。谷歌研究人員指出，當它的演算法生成啞鈴的圖像時，它也生成了一個人的手臂，因為機器斷定手臂是這東西的一部分。
從神經科學和認知科學借鑒來的思路已經使得研究取得了進一步的進展。懷俄明大學助理教授Jeff Clune帶領的團隊，採用光學錯覺的AI測試了深度神經網路。2015年，Clune團隊展示了他們的發現，某些圖像可以愚弄網路，讓它們感知到不存在的事物，因為圖像利用了系統搜索的低層次模式。Clune的一位合作者，Jason Yosinski，還建立了一個工具，就像一個探針插入大腦，針對網路中的任何神經元，搜索最啟動它的圖像。這個圖像被發現是抽象的（想像一個寫意的火烈鳥或校車），這更突出了機器的感知能力的神秘性。
紐約布法羅，大約1960年的康奈爾航空實驗室，早期的人造神經網路
然而，我們需要的不僅是AI思維的驚鴻一瞥，也沒有簡單的解決方案。深層神經網路內部計算和相互作用，是高層次模式識別和複雜決策的關鍵，但這些計算是數學函數和變數的泥潭。“如果你有一個很小的神經網路，你可以瞭解它，”Jaakkola說。“但一旦它變得非常大，它每層有成千上萬的單元，也許有幾百層，它就將變得無法理解。”
在Jaakkola辦公室旁邊的是MIT教授Regina Barzilay，她正致力於將將機器學習應用於醫學。幾年前，她在43歲時，被診斷出患有乳腺癌。診斷本身是令人震驚的，Barzilay也很沮喪，當時尖端的統計和機器學習的方法還沒有被用來幫助或指導患者進行治療腫瘤的研究。她說，人工智慧有巨大的潛力去進行醫學革命，但認識到這一潛力將意味著不僅僅是超越醫療記錄。她希望能使用更多的原始資料。她說：“目前我們還沒有充分利用影像資料、病理資料，所有這些資訊。”
上一年完成了癌症治療後，Barzilay和她的學生們開始和麻塞諸塞州總醫院的醫生們一起工作，來開發一個系統，來能夠挖掘研究員想要學習的病理報告，來確定患者的具體臨床特點。當然，Barzilay明白，系統需要解釋它的推理過程。所以，和Jaakkola以及一個學生一起，她加了一步：系統提取和突出文本片段，這是一個具有代表性的發現模式。Barzilay和她的學生也正在開發一種乳腺X線圖像深度學習演算法，能夠發現早期乳腺癌的症狀，他們的目標是解釋這個系統的推理能力。
美國軍方正投入數十億美元，使用機器學習來引導車輛和飛機識別目標，並説明分析人員篩選出大量的情報資料。不同於其他領域，甚至是醫學領域，國防部已經將證明機器學習的“可解釋性”看做一個關鍵的“絆腳石”。
David Gunning，美國國防高級研究計畫局的專案負責人，負責名為Explainable Artificial Intelligence program的人工智慧“可解釋性”專案。這位滿頭銀髮的老兵，曾監督DARPA專案，最終導致Siri的成立。情報分析人員正在測試機器學習，作為識別大量監控資料模式的一種方法。許多自主地面車輛和飛機正在開發和測試。但如果一個機器坦克不能解釋自己的行為，士兵可能感到不舒服，分析師也將不願意對沒有理由的命令採取行動。Gunning說：“這些機器學習系統的本質往往是產生大量的假警報，所以英特爾的分析師真的需要額外的説明來理解為什麼要做一個推薦。”
今年3月，在學術界和工業界幫助下，DARPA選擇了13個項目，來獲得Gunning的項目的資金支援。他們中的一些人可以加入華盛頓大學教授Carlos Guestrin的團隊。他和他的同事們已經開發出一種機器學習系統，為其輸出提供了理由。基本上，在這種方法下，電腦自動從資料集中找到幾個例子，並提供一個簡短的解釋。例如，一個將電子郵件分類出恐怖分子資訊的系統，可以在訓練和決策中使用數以百萬計的資訊。但是使用華盛頓團隊的方法，它可以突出在消息中發現的某些關鍵字。Guestrin的團隊還設計了在圖像識別系統中，高亮對其進行推理時的關鍵圖像。
這種方式和其他的類似方法一樣，比如Barzilay的，就是說明的部分太過簡化，所以可能會丟失重要的資訊。“我們還沒有實現夢想，當AI與你交談時，讓它能夠解釋。”Guestrin說。“我們有很長的路要走。”
癌症診斷和軍事演習這種高風險的情況之外，當該技術日益普及，成為我們生活中重要的應用之後，在其他領域，知道AI是如何給出解釋的，也是同樣重要。Tom Gruber是蘋果公司Siri 團隊的負責人，他說，“可解釋性”對他的團隊而言，同樣也是至關重要的，它能幫助Siri成為更聰明和更強大的虛擬助理。他不願意討論Siri未來的具體計畫，但這很容易想像，如果你收到一個來自Siri的餐館推薦，你會想知道理由是什麼。Ruslan Salakhutdinov，蘋果的人工智慧研究室主任和卡內基梅隆大學副教授，也看到了“可解釋性”是關係著人類與智慧型機器之間演化的核心問題。“這將帶來信任。”他說。
正如人類行為的許多方面是不可能詳細解釋的，也許讓AI解釋它所做的一切也是不可能的。“如果有人就其行為給你一個看似合理的解釋，它也可能是不完整的。這對AI來說是同樣的。”懷俄明大學的Clune說，“這這可能是智慧的本質部分，只有部分行為能用推理解釋。有些行為只是出於本能，或潛意識，或根本沒有任何理由。”
如果是這樣的話，我們的決策可能不得不是簡單地去相信AI的判斷，或者乾脆不去使用它。同樣地，這個判斷必須融入社會智慧。正如社會是建立在期望行為的契約之上的，我們也需要讓AI系統尊重和適應我們的社會規範。如果我們要創造機器坦克和其他殺人機器，讓它們作出符合我們道德判斷的決策也是非常重要的。
塔夫斯大學的Daniel Dennett，是一名著名的哲學家和認知科學家，研究意識和心靈。“問題是，我們必須做出什麼樣的努力才能明智地做到這一點，我們要求它們和我們自己的標準是什麼？”他說。
他也就“可解釋性”的要求發出了警告。“我想，如果我們要使用它們並依賴它們，那麼我們就需要控制它們並讓它們給我們解釋答案。”他說。由於可能沒有完美的答案，所以我們就需要更加謹慎——不管機器看起來是多麼聰明。“如果它不能在解釋自己這方面做得更好，”他說，“那就不要信任它！”
自動駕駛
藝術家Adam Ferriss用Google Deep Dream創作的圖像
2015，紐約的西奈山醫院（Mount Sinai Hospital）的一個研究小組受到啟發，將深度學習應用到醫院龐大的病人記錄資料庫中。這個資料集有數百個患者相關的變數，包括他們的測試結果、醫生訪問記錄等等。由此產生的程式，研究人員將其命名為Deep Patient，使用約700000人的資料對其進行了培訓，在進行測試時，它被證明是非常擅長預測疾病的。在沒有專家指導下，Deep Patient發現了隱藏在醫院資料中的模式，這些資料可以診斷出人們身上的各種疾病隱患，包括肝癌。Mount Sinai項目負責人Joel Dudley說，現在有很多“非常好”的方法可以預測疾病，但是，深度學習“是更好的方式”。
同時， Deep Patient也讓人困惑。它在預測精神分裂症方面出奇地出色。但是醫生診斷精神分裂症比較困難是眾所周知的，Dudley想知道，它是怎麼做的。但他失敗了。這種新的工具，沒有給他提供任何線索，它是怎麼做到這一點的。像Deep Patient這樣的程式，如果實際上我們是想要它來幫助醫生，那最理想的模式，仍然是給出預測理由，來保證結果是準確的，並且作為證明，例如，來修改患者用藥。“我們可以建立這些模型，”Dudley沮喪地說，“但我們不知道它們是如何工作的。”
人工智慧並不總是這樣。從一開始，就有兩個關於AI應該如何理解和解釋的學派。很多人認為，根據規則和邏輯推理機器是最有意義的，即它們的內部工作對任何想檢查某些代碼的人來說，都是透明的。另一些人則認為，如果機器是從生物學中獲得靈感，那麼通過觀察和體驗學習，智力就會更容易出現。這意味著對電腦程式設計的顛覆。不是程式師編寫命令來解決問題，而是程式基於資料，在自己的演算法的基礎上，生成結果輸出。機器學習後來演變成今天最強大的AI系統，遵循的就是後一種途徑，機器就是程式。
起初，這種應用還是有限的。在20世紀60-70年代，它還主要是集中在一些邊緣領域內。但覆蓋眾多行業的電子化和資料化進程，激發了更強大的機器學習技術的發展，特別是神經網路技術。到了上世紀90年代，神經網路已經可以將手寫字元轉化成數位字元。
然後直到最近10年，經過多次調整和改進，“大”而“深”的神經網路在自動感知方面獲得了巨大的進步，深度學習成為今天的AI爆炸的主要推動力。它賦予電腦非凡的能力，比如說幾乎可以像人一樣熟練地識別出語言的能力。深度學習改變了電腦視覺，大大改進了機器翻譯。它現在已經被用於指導醫學、金融、製造業和其他領域的各種關鍵決策。
任何機器學習技術的運作本質上是不透明的，對電腦科學家來說也一樣。但這並不是說所有的人工智慧技術，在未來都將同樣不可知。但從本質上看，深度學習還是一個特別黑的“黑箱”。
你不能從神經網路內部看出它是如何工作的。神經網路由成千上萬個神經元構成，它們排列成數十甚至上百個錯綜複雜的互連層。第一層中的神經元各自接收輸入信號，例如圖像中圖元的強度，然後在輸出新信號之前進行計算。這些輸出在複雜的網路中，被再下一層的神經元所接收，直到產生一個整體結果輸出。此外，還有反向傳播，通過回饋調整單個神經元，達到期望輸出。
深度神經網路中的許多層使它能夠在不同的抽象層次上識別事物。例如在識別狗的系統中，較低層識別簡單輪廓或顏色；更高層識別更複雜的東西，如毛皮或眼睛；最上層將它作為狗標注。簡單地說，同樣的方法也可以應用於機器引導自己的其他輸入：在語音中構成單詞的聲音，在文本中創建句子需要的字母和單詞，或自動駕駛所需的方向盤運動。
為了嘗試去捕捉和解釋在系統中發生了什麼，研究員們應用了巧妙的策略。2015年，穀歌的研究人員修改了一種基於深度學習的圖像識別演算法，這樣就不會產生照片中的物件，而是生成或修改它們。通過有效地反向運行該演算法，他們可以發現該程式用於識別，例如，鳥或建築物的功能。
由此產生圖像的專案，被稱為Deep Dream，它能表現出各種怪誕的圖形，雲彩和植物中出現像外星人一樣的動物，在森林和山脈中綻放出幻覺一樣的寶塔。這些圖像證明，深度學習並不是完全不可思議的，它們顯示出演算法也需要熟悉的視覺特徵，比如鳥喙和羽毛。但這些圖像也暗示了深度學習與人類感知的不同之處，比如它可能會讓放大我們知道但是忽略的東西。谷歌研究人員指出，當它的演算法生成啞鈴的圖像時，它也生成了一個人的手臂，因為機器斷定手臂是這東西的一部分。
從神經科學和認知科學借鑒來的思路已經使得研究取得了進一步的進展。懷俄明大學助理教授Jeff Clune帶領的團隊，採用光學錯覺的AI測試了深度神經網路。2015年，Clune團隊展示了他們的發現，某些圖像可以愚弄網路，讓它們感知到不存在的事物，因為圖像利用了系統搜索的低層次模式。Clune的一位合作者，Jason Yosinski，還建立了一個工具，就像一個探針插入大腦，針對網路中的任何神經元，搜索最啟動它的圖像。這個圖像被發現是抽象的（想像一個寫意的火烈鳥或校車），這更突出了機器的感知能力的神秘性。
紐約布法羅，大約1960年的康奈爾航空實驗室，早期的人造神經網路
然而，我們需要的不僅是AI思維的驚鴻一瞥，也沒有簡單的解決方案。深層神經網路內部計算和相互作用，是高層次模式識別和複雜決策的關鍵，但這些計算是數學函數和變數的泥潭。“如果你有一個很小的神經網路，你可以瞭解它，”Jaakkola說。“但一旦它變得非常大，它每層有成千上萬的單元，也許有幾百層，它就將變得無法理解。”
在Jaakkola辦公室旁邊的是MIT教授Regina Barzilay，她正致力於將將機器學習應用於醫學。幾年前，她在43歲時，被診斷出患有乳腺癌。診斷本身是令人震驚的，Barzilay也很沮喪，當時尖端的統計和機器學習的方法還沒有被用來幫助或指導患者進行治療腫瘤的研究。她說，人工智慧有巨大的潛力去進行醫學革命，但認識到這一潛力將意味著不僅僅是超越醫療記錄。她希望能使用更多的原始資料。她說：“目前我們還沒有充分利用影像資料、病理資料，所有這些資訊。”
上一年完成了癌症治療後，Barzilay和她的學生們開始和麻塞諸塞州總醫院的醫生們一起工作，來開發一個系統，來能夠挖掘研究員想要學習的病理報告，來確定患者的具體臨床特點。當然，Barzilay明白，系統需要解釋它的推理過程。所以，和Jaakkola以及一個學生一起，她加了一步：系統提取和突出文本片段，這是一個具有代表性的發現模式。Barzilay和她的學生也正在開發一種乳腺X線圖像深度學習演算法，能夠發現早期乳腺癌的症狀，他們的目標是解釋這個系統的推理能力。
美國軍方正投入數十億美元，使用機器學習來引導車輛和飛機識別目標，並説明分析人員篩選出大量的情報資料。不同於其他領域，甚至是醫學領域，國防部已經將證明機器學習的“可解釋性”看做一個關鍵的“絆腳石”。
David Gunning，美國國防高級研究計畫局的專案負責人，負責名為Explainable Artificial Intelligence program的人工智慧“可解釋性”專案。這位滿頭銀髮的老兵，曾監督DARPA專案，最終導致Siri的成立。情報分析人員正在測試機器學習，作為識別大量監控資料模式的一種方法。許多自主地面車輛和飛機正在開發和測試。但如果一個機器坦克不能解釋自己的行為，士兵可能感到不舒服，分析師也將不願意對沒有理由的命令採取行動。Gunning說：“這些機器學習系統的本質往往是產生大量的假警報，所以英特爾的分析師真的需要額外的説明來理解為什麼要做一個推薦。”
今年3月，在學術界和工業界幫助下，DARPA選擇了13個項目，來獲得Gunning的項目的資金支援。他們中的一些人可以加入華盛頓大學教授Carlos Guestrin的團隊。他和他的同事們已經開發出一種機器學習系統，為其輸出提供了理由。基本上，在這種方法下，電腦自動從資料集中找到幾個例子，並提供一個簡短的解釋。例如，一個將電子郵件分類出恐怖分子資訊的系統，可以在訓練和決策中使用數以百萬計的資訊。但是使用華盛頓團隊的方法，它可以突出在消息中發現的某些關鍵字。Guestrin的團隊還設計了在圖像識別系統中，高亮對其進行推理時的關鍵圖像。
這種方式和其他的類似方法一樣，比如Barzilay的，就是說明的部分太過簡化，所以可能會丟失重要的資訊。“我們還沒有實現夢想，當AI與你交談時，讓它能夠解釋。”Guestrin說。“我們有很長的路要走。”
癌症診斷和軍事演習這種高風險的情況之外，當該技術日益普及，成為我們生活中重要的應用之後，在其他領域，知道AI是如何給出解釋的，也是同樣重要。Tom Gruber是蘋果公司Siri 團隊的負責人，他說，“可解釋性”對他的團隊而言，同樣也是至關重要的，它能幫助Siri成為更聰明和更強大的虛擬助理。他不願意討論Siri未來的具體計畫，但這很容易想像，如果你收到一個來自Siri的餐館推薦，你會想知道理由是什麼。Ruslan Salakhutdinov，蘋果的人工智慧研究室主任和卡內基梅隆大學副教授，也看到了“可解釋性”是關係著人類與智慧型機器之間演化的核心問題。“這將帶來信任。”他說。
正如人類行為的許多方面是不可能詳細解釋的，也許讓AI解釋它所做的一切也是不可能的。“如果有人就其行為給你一個看似合理的解釋，它也可能是不完整的。這對AI來說是同樣的。”懷俄明大學的Clune說，“這這可能是智慧的本質部分，只有部分行為能用推理解釋。有些行為只是出於本能，或潛意識，或根本沒有任何理由。”
如果是這樣的話，我們的決策可能不得不是簡單地去相信AI的判斷，或者乾脆不去使用它。同樣地，這個判斷必須融入社會智慧。正如社會是建立在期望行為的契約之上的，我們也需要讓AI系統尊重和適應我們的社會規範。如果我們要創造機器坦克和其他殺人機器，讓它們作出符合我們道德判斷的決策也是非常重要的。
塔夫斯大學的Daniel Dennett，是一名著名的哲學家和認知科學家，研究意識和心靈。“問題是，我們必須做出什麼樣的努力才能明智地做到這一點，我們要求它們和我們自己的標準是什麼？”他說。
他也就“可解釋性”的要求發出了警告。“我想，如果我們要使用它們並依賴它們，那麼我們就需要控制它們並讓它們給我們解釋答案。”他說。由於可能沒有完美的答案，所以我們就需要更加謹慎——不管機器看起來是多麼聰明。“如果它不能在解釋自己這方面做得更好，”他說，“那就不要信任它！”
自動駕駛