編者按：本文來自“機器之心”似乎每個月都會擴展至另外一個學科領域。 它們可以預測合成有機分子的最佳方式。 它們可以探測與自閉症相關的基因。 它們甚至改變了科學本身的進展方式。 人工智慧無往不利， 但是卻留給了理論科學家一個憂慮的問題：模型為什麼會如此？為什麼？（Why, model, why?）
這一闡釋難題正在激勵著來自學界和業界的新一代研究者。 正如顯微鏡揭示了細胞， 這些研究著正打造工具從而可以一窺神經網路的決策方式。 一些工具可以無需深入即可探測 AI；一些是可以媲美神經網路的替代演算法，
通過大致地模仿人腦， 深度神經網路激發了整個科學領域的創新。 但是模型的機制依然神秘：它們是黑箱。 科學家正全力開發工具打開它。
Marco Ribeiro， 西雅圖華盛頓州立大學的一名畢業生， 試圖通過一種被稱為「反事實探針（counter-factual probe）」的神經科學工具打開黑箱。 其想法是通過聰明的方式調變人工智慧的輸入以查看哪些變化影響以及如何影響到了輸出。 以輸入電影評論文字並標注積極與否的神經網路為例。 Ribeiro 的程式 LIME（Local Interpretable Model-Agnostic Explanation）會把一個影評標注為積極並對文字稍作修改以創造新的微妙的變體。 接著這些變體會被輸入黑箱以查看其是否依然被標注為積極。 通過數千個測試， LIME 可以辨別詞語， 或者部分圖像、分子結構， 再或者任意類型的資料（這在人工智慧的最初判斷中至關重要）。 這些測試也許揭示出單詞「horrible」對 panning 十分關鍵， 或者「Daniel Day Lewis」帶來了一個積極評論。
新的反事實方法比如 LIME 似乎每月都有出現。 但是穀歌的另外一個電腦科學家 Mukund Sundararajan 發明了另一種探查方法， 它無需對網路進行數千次測試；如果你正在嘗試理解很多決策而不是幾個， 這絕對是一個福利。 Sundararajan 及其團隊並不是通過隨機調變輸入， 而是引入一個空白的引文——一張純黑圖像或者一個代替文本的零排列陣列——並將其一步一步向測試的實例轉化。 通過在網路中運行每一步， 他們觀察其確定的跳躍， 並通過軌跡推論出對於預測重要的特徵。
Sundararajan 對比了這一過程， 找出了辨識其所在的玻璃牆空間的關鍵特徵——杯子、桌子、椅子和電腦的標準組合。
這一問題的緊急並非只來自科學。 根據歐盟的一項指示， 那些部署持續影響大眾的演算法的公司必須在來年對其模型的內在機制做出解釋。 美國軍方的藍天研究機構國防高級研究計畫署正在向稱為「可解釋 AI」的新計畫投入 7000 萬美元， 試圖解釋用於無人機和情報挖掘作業的深度學習。 谷歌山景城的機器學習研究者 Maya Gupta 說，
Rich Caruana， 一名微軟雷德蒙德研究院的電腦科學家， 很早就知道這種信任的缺失。 作為卡內基梅隆大學 1990 年代的畢業生， 他加入了一個試圖通過機器學習改善肺炎患者治療的團隊。 通常來講， 把病患送回家是最好的， 可以避免醫院的其他交叉感染。 但是一些病人， 尤其那些帶有複雜病因（比如哮喘）的患者應該獲得立即治療。 Caruana 應用一個神經網路來處理由 78 家醫院提供的症狀及其結果的資料集， 它似乎工作的很好。 但令人不安的是， 他看到一個更簡單、透明的模型要求把哮喘病人返送回家，這暴露了資料之中的一些缺陷。並且他並不能輕易知道他的神經網路是否吸取了這一教訓。他說：「對神經網路的恐懼是完全正當的，而真正讓我感到恐懼的是神經網路在學習對的事情的同時也學習了錯的事情。」
今天的神經網路要比 Caruana 的研究生們使用的複雜得多，但其本質是相同的。一端是數以百萬計的雜亂資料（比如狗的照片）。這些資料會被輸入具有十幾個或更多層的網路中，其中的神經形式連結會回應資料中的特徵。每一層都會把內容抽象一點，最後一層解釋出最終的判斷，如從梗犬中辨別出臘腸犬。
在一開始，系統或許會陷入混亂。但每次結果都會與標記好的狗圖片進行對比。在一種被稱為反向傳播的過程裡，結果會通過網路向前發送，使其能夠對每個神經元的觸發器進行重新加權。這一過程會重複數百萬次，直到整個網路——不知何故——學會如何識別不同品種的狗。「使用現代技術和大膽的嘗試，你可以讓它們真正地工作起來，」Caruana 說道。然而，這種神秘而靈活的力量也讓神經網路變成了黑箱。
Gupta 對於處理黑箱問題有不同的策略：她嘗試繞開這些問題。幾年前，Gupta 兼職作為一名複雜物理謎題的設計師，開始了一個名為 GlassBox 的專案。她的目標是將工程化的可預測性納入神經網路而對其進行解釋。她的指導原則就是單調性（monotonicity），即變數之間的相關性問題，如增加某個變數，另外一個變數到底是會跟著增加（單調遞增）還是會降低（單調遞減），或者只能局部成單調性。
Gupta 將這些單調性關係嵌入到稱之為插值查詢表的蔓生資料庫（sprawling database）中。本質上這個查詢表就像高中三角函數查值表一樣。但是該插值查詢表不是一個維度上的十多個條目，它在多個維度上有數百萬的條目。她將這些表寫入神經網路中，因此有效地添加了一個額外的、可預測性的層級計算知識，因此神經網路也將變得更具可控性。
與此同時，Caruana 一直記得他的肺炎經歷。因此為了在避免黑箱問題時能開發一個可以精確匹配深度學習的模型，他轉向了和統計機器學習經常相輔相成，但又並不總是能很好匹配的領域：統計學。
20 世紀 80 年代，統計學家率先推出了一種稱為廣義加性模型（GAM）的技術。該技術建立在線性回歸之上，即一種在資料中尋找它們線性相關性的方法。但是 GAM 可以通過多個運算解決來解決複雜性關係，這些運算可以將非線性關係的資料原空間投影到存在線性相關性的新空間，因此能擬合一條回歸線（如對某些特徵進行平方，而對另外一些取對數等）。Caruana 已經擴展了這個過程，他使用機器學習來搜索發現這些非線性運算，然後再將系統發現的運算應用到強大的模式識別模型中。他說：「令我們驚奇的是，這種方法在很多問題上都能得到非常不錯的精度。」至關重要的是，每一個運算在底層資料的影響都是透明的。
Caruana 的 GAM 在處理複雜資料上並不能像 AI 方法那樣有效，如神經網路極其擅長的圖像或者語音等。但是對於可以用表格行和列表示出來的資料，該模型還是能很好運行的。Caruana 返回到他原來的肺炎記錄，並使用 GAM 重新分析了它們，因此他能看到為什麼 AI 能從錄用資料學到錯誤的經驗。醫院常規上會將患肺炎的哮喘病患者放入重症監護病房，以改善醫療效果。而 AI 會只看到這個病能快速好轉，因此將建議患者回家治療。對於其他一些病症同樣存在這樣的錯誤判斷。
Caruana 已經開始向加州醫院（包括洛杉磯兒童醫院）推廣 GAM 方法，並且已經有十多名醫生審查了他模型的結果。他們花了很多時間在會議上討論模型到底告訴了他們肺炎患者什麼樣的資訊，才能讓它如此迅速地決策。其中一位醫生說：「雖然你對醫療保健知道的很少，但你的模型卻極其精確。」
有時候，我們必須承受黑箱的困惑。因此理論研究者開始追尋深度學習可解釋性的第三條道路。他們說解釋深度學習的方法可以簡單地進行更深度的學習，而不是尋求理解神經網路或避開它。
如果我們不能質疑它們為什麼這麼做，並讓他們給出合理的回答，那人們只能把人工智慧束之高閣。
像很多 AI 開發者一樣，Mark Riedl，亞特蘭大佐治亞理工學院娛樂智能實驗室的負責人，用上世紀 80 年代的電子遊戲來測試他的作品。青蛙過河遊戲（Frogger）是他最喜歡的遊戲之一，玩家使青蛙通過小路穿過車流，到達彼岸的池塘。訓練一個神經網路來進行專家級的青蛙過河遊戲其實非常容易，但是解釋 AI 在其中所做的事情通產很難。
Riedl 沒有對那個神經網路進行探究，而是讓人類受試者去玩這個遊戲，並且通過讓人們即時發聲來描述他們的策略。Riedl 在遊戲代碼中記錄了那些玩家的評論：「噢，有一輛車沖我來了；我需要往前跳。」以那兩種語言為基礎——玩家的話語和代碼——Riedl 訓練了第二個神經網路來對兩種語言進行翻譯，把代碼譯為英文。然後他把這個轉譯網路（translation network）和他初始的遊戲網路進行連接，生成了一個可以進行表達的綜合性 AI，當它停在小路上的時候，它會表示，「在我移動之前我正在等待打開一個洞。」當被卡在螢幕邊緣的時候 AI 也會沮喪，咒駡和抱怨，「天哪，太難了。」
Riedl 把此方法叫做「合理化」（rationalization），他設計這種方法來幫助用戶理解家庭機器人、自動駕駛汽車等機器。「如果我們不能質疑它們為什麼這麼做，並讓他們給出合理的回答，那人們只能把人工智慧束之高閣。」Riedl 說道。但是那些安慰性的解釋又引起另外一個問題，他補充道：「在人類失去信任之前，合理化（rationalization）會錯到何種程度」
回到優步，Yosinski 已經被推出玻璃箱之外。Uber 以城市命名的會議室，正在被使用，這裡可沒有峰時價格（surge pricing）來減少使用人群。他從杜哈離開，來到了加拿大的蒙特利爾，大腦中的無意識模式識別（unconscious pattern recognition）處理指引他穿越辦公室迷宮——直到他迷路。他的圖片分類器也還是一個迷宮，並且，像 Riedl 一樣，他已經使用了第二個 AI 系統來説明他對第一個系統進行理解。
研究人員已經建立了神經網路，在圖片的左邊填充間隙，可在一個人工智慧體中識別裂紋瑕疵。
首先，Yosinsk 更新了分類器來生成圖片，而不是對圖片進行標注。然後，他和他的同事給它進行靜態著色，並且通過它給請求物件（request）發送一個信號，比如，「更多的火山。」最終，他們假設，網路會把雜訊融入進火山框圖中。而且在某種程度上，它會：那個火山，在人類眼裡，僅僅就像一個灰色的、平淡無奇的一團。AI 和人類看見的東西是不同的。
接下來，這個隊伍對它的圖片使用了生成對抗網路（GAN）。這樣的 AI 系統包括兩個神經網路。在圖像的訓練資料集中，「生成器」學習生成圖像的規則，並且能夠創造合成型圖像。第二個「對抗網路」會試圖檢測圖像結果是真是假，促使生成器再一次進行嘗試。這個反復過程最終會生成包含人眼可識別特徵的粗略圖像。
Yosinski 和他之前的實習生 Anh Nguyen 把 GAN 和他們原始的分類器網路層連接起來。這一次，當網路被告知創造「更多火山」之後，GAN 採用灰色粉末，分類器進行學習，加上圖片架構的自我知識，把它編碼進了合成陣列中，肯上去很像真實的火山。一些是休眠的火山、一些是爆發的活火山、一些是白天的火山、一些是晚上的火山。還有一些可能帶有瑕疵，但能提示分類器的知識缺陷。
他們的 GAN 現在能夠綁定到任何解決圖像問題的網路。Yosinski 已經使用它來識別網路中的問題，為任意圖像編寫描述。而且他逆轉了該網路，以便於能為任意描述輸入合成圖像。在與 GAN 聯繫起來之後，他發現了一個令人吃驚的疏漏。在提示「a bird sitting on a branch」之後，網路使用 GAN 轉移過來的指令，生成樹和樹枝牧歌式的描繪，但沒有鳥。為什麼呢？在向原始描述模型饋送改變過的圖像之後，他意識到這些描述的撰寫者描述樹林和樹枝的時候都帶鳥。人工智慧錯誤的學習了什麼是鳥。Yosinski 說，「這暗示什麼是人工智慧神經科學的重要方向。」這只是個開端，還有大片的空白需要彌補。日子平靜了下來，但 Yosinski 的工作也還只是開始。這時，辦公室又響起了敲門聲，Yosinski 和他的人工智慧被踢出了另一個會議室，回到了 Uber 城市、電腦與人類的迷宮。
他看到一個更簡單、透明的模型要求把哮喘病人返送回家，這暴露了資料之中的一些缺陷。並且他並不能輕易知道他的神經網路是否吸取了這一教訓。他說：「對神經網路的恐懼是完全正當的，而真正讓我感到恐懼的是神經網路在學習對的事情的同時也學習了錯的事情。」今天的神經網路要比 Caruana 的研究生們使用的複雜得多，但其本質是相同的。一端是數以百萬計的雜亂資料（比如狗的照片）。這些資料會被輸入具有十幾個或更多層的網路中，其中的神經形式連結會回應資料中的特徵。每一層都會把內容抽象一點，最後一層解釋出最終的判斷，如從梗犬中辨別出臘腸犬。
在一開始，系統或許會陷入混亂。但每次結果都會與標記好的狗圖片進行對比。在一種被稱為反向傳播的過程裡，結果會通過網路向前發送，使其能夠對每個神經元的觸發器進行重新加權。這一過程會重複數百萬次，直到整個網路——不知何故——學會如何識別不同品種的狗。「使用現代技術和大膽的嘗試，你可以讓它們真正地工作起來，」Caruana 說道。然而，這種神秘而靈活的力量也讓神經網路變成了黑箱。
Gupta 對於處理黑箱問題有不同的策略：她嘗試繞開這些問題。幾年前，Gupta 兼職作為一名複雜物理謎題的設計師，開始了一個名為 GlassBox 的專案。她的目標是將工程化的可預測性納入神經網路而對其進行解釋。她的指導原則就是單調性（monotonicity），即變數之間的相關性問題，如增加某個變數，另外一個變數到底是會跟著增加（單調遞增）還是會降低（單調遞減），或者只能局部成單調性。
Gupta 將這些單調性關係嵌入到稱之為插值查詢表的蔓生資料庫（sprawling database）中。本質上這個查詢表就像高中三角函數查值表一樣。但是該插值查詢表不是一個維度上的十多個條目，它在多個維度上有數百萬的條目。她將這些表寫入神經網路中，因此有效地添加了一個額外的、可預測性的層級計算知識，因此神經網路也將變得更具可控性。
與此同時，Caruana 一直記得他的肺炎經歷。因此為了在避免黑箱問題時能開發一個可以精確匹配深度學習的模型，他轉向了和統計機器學習經常相輔相成，但又並不總是能很好匹配的領域：統計學。
20 世紀 80 年代，統計學家率先推出了一種稱為廣義加性模型（GAM）的技術。該技術建立在線性回歸之上，即一種在資料中尋找它們線性相關性的方法。但是 GAM 可以通過多個運算解決來解決複雜性關係，這些運算可以將非線性關係的資料原空間投影到存在線性相關性的新空間，因此能擬合一條回歸線（如對某些特徵進行平方，而對另外一些取對數等）。Caruana 已經擴展了這個過程，他使用機器學習來搜索發現這些非線性運算，然後再將系統發現的運算應用到強大的模式識別模型中。他說：「令我們驚奇的是，這種方法在很多問題上都能得到非常不錯的精度。」至關重要的是，每一個運算在底層資料的影響都是透明的。
Caruana 的 GAM 在處理複雜資料上並不能像 AI 方法那樣有效，如神經網路極其擅長的圖像或者語音等。但是對於可以用表格行和列表示出來的資料，該模型還是能很好運行的。Caruana 返回到他原來的肺炎記錄，並使用 GAM 重新分析了它們，因此他能看到為什麼 AI 能從錄用資料學到錯誤的經驗。醫院常規上會將患肺炎的哮喘病患者放入重症監護病房，以改善醫療效果。而 AI 會只看到這個病能快速好轉，因此將建議患者回家治療。對於其他一些病症同樣存在這樣的錯誤判斷。
Caruana 已經開始向加州醫院（包括洛杉磯兒童醫院）推廣 GAM 方法，並且已經有十多名醫生審查了他模型的結果。他們花了很多時間在會議上討論模型到底告訴了他們肺炎患者什麼樣的資訊，才能讓它如此迅速地決策。其中一位醫生說：「雖然你對醫療保健知道的很少，但你的模型卻極其精確。」
有時候，我們必須承受黑箱的困惑。因此理論研究者開始追尋深度學習可解釋性的第三條道路。他們說解釋深度學習的方法可以簡單地進行更深度的學習，而不是尋求理解神經網路或避開它。
如果我們不能質疑它們為什麼這麼做，並讓他們給出合理的回答，那人們只能把人工智慧束之高閣。
像很多 AI 開發者一樣，Mark Riedl，亞特蘭大佐治亞理工學院娛樂智能實驗室的負責人，用上世紀 80 年代的電子遊戲來測試他的作品。青蛙過河遊戲（Frogger）是他最喜歡的遊戲之一，玩家使青蛙通過小路穿過車流，到達彼岸的池塘。訓練一個神經網路來進行專家級的青蛙過河遊戲其實非常容易，但是解釋 AI 在其中所做的事情通產很難。
Riedl 沒有對那個神經網路進行探究，而是讓人類受試者去玩這個遊戲，並且通過讓人們即時發聲來描述他們的策略。Riedl 在遊戲代碼中記錄了那些玩家的評論：「噢，有一輛車沖我來了；我需要往前跳。」以那兩種語言為基礎——玩家的話語和代碼——Riedl 訓練了第二個神經網路來對兩種語言進行翻譯，把代碼譯為英文。然後他把這個轉譯網路（translation network）和他初始的遊戲網路進行連接，生成了一個可以進行表達的綜合性 AI，當它停在小路上的時候，它會表示，「在我移動之前我正在等待打開一個洞。」當被卡在螢幕邊緣的時候 AI 也會沮喪，咒駡和抱怨，「天哪，太難了。」
Riedl 把此方法叫做「合理化」（rationalization），他設計這種方法來幫助用戶理解家庭機器人、自動駕駛汽車等機器。「如果我們不能質疑它們為什麼這麼做，並讓他們給出合理的回答，那人們只能把人工智慧束之高閣。」Riedl 說道。但是那些安慰性的解釋又引起另外一個問題，他補充道：「在人類失去信任之前，合理化（rationalization）會錯到何種程度」
回到優步，Yosinski 已經被推出玻璃箱之外。Uber 以城市命名的會議室，正在被使用，這裡可沒有峰時價格（surge pricing）來減少使用人群。他從杜哈離開，來到了加拿大的蒙特利爾，大腦中的無意識模式識別（unconscious pattern recognition）處理指引他穿越辦公室迷宮——直到他迷路。他的圖片分類器也還是一個迷宮，並且，像 Riedl 一樣，他已經使用了第二個 AI 系統來説明他對第一個系統進行理解。
研究人員已經建立了神經網路，在圖片的左邊填充間隙，可在一個人工智慧體中識別裂紋瑕疵。
首先，Yosinsk 更新了分類器來生成圖片，而不是對圖片進行標注。然後，他和他的同事給它進行靜態著色，並且通過它給請求物件（request）發送一個信號，比如，「更多的火山。」最終，他們假設，網路會把雜訊融入進火山框圖中。而且在某種程度上，它會：那個火山，在人類眼裡，僅僅就像一個灰色的、平淡無奇的一團。AI 和人類看見的東西是不同的。
接下來，這個隊伍對它的圖片使用了生成對抗網路（GAN）。這樣的 AI 系統包括兩個神經網路。在圖像的訓練資料集中，「生成器」學習生成圖像的規則，並且能夠創造合成型圖像。第二個「對抗網路」會試圖檢測圖像結果是真是假，促使生成器再一次進行嘗試。這個反復過程最終會生成包含人眼可識別特徵的粗略圖像。
Yosinski 和他之前的實習生 Anh Nguyen 把 GAN 和他們原始的分類器網路層連接起來。這一次，當網路被告知創造「更多火山」之後，GAN 採用灰色粉末，分類器進行學習，加上圖片架構的自我知識，把它編碼進了合成陣列中，肯上去很像真實的火山。一些是休眠的火山、一些是爆發的活火山、一些是白天的火山、一些是晚上的火山。還有一些可能帶有瑕疵，但能提示分類器的知識缺陷。
他們的 GAN 現在能夠綁定到任何解決圖像問題的網路。Yosinski 已經使用它來識別網路中的問題，為任意圖像編寫描述。而且他逆轉了該網路，以便於能為任意描述輸入合成圖像。在與 GAN 聯繫起來之後，他發現了一個令人吃驚的疏漏。在提示「a bird sitting on a branch」之後，網路使用 GAN 轉移過來的指令，生成樹和樹枝牧歌式的描繪，但沒有鳥。為什麼呢？在向原始描述模型饋送改變過的圖像之後，他意識到這些描述的撰寫者描述樹林和樹枝的時候都帶鳥。人工智慧錯誤的學習了什麼是鳥。Yosinski 說，「這暗示什麼是人工智慧神經科學的重要方向。」這只是個開端，還有大片的空白需要彌補。日子平靜了下來，但 Yosinski 的工作也還只是開始。這時，辦公室又響起了敲門聲，Yosinski 和他的人工智慧被踢出了另一個會議室，回到了 Uber 城市、電腦與人類的迷宮。