前言：人工智慧最近很火， 很多人由此引發出來了很多浪漫的遐想。 但事實上， 讓我們非常站在理性客觀的角度上去評估它，
人工智慧這件事兒有點特殊， 特殊之處在於：人類要開發一種前所未見的東西， 你要開發出它， 而且要讓它變得不可知。 這就像是人在放風箏， 最終的目的是要把那根繩子徹底放開， 讓它在天上自行飛翔。 那麼問題就來了：接下來會發生什麼？
去年， 新澤西州蒙茂斯市的街道上， 出現了一輛無人自駕駛汽車， 由晶片製造商 Nvidia 公司的研發人員進行設計開發， 雖然外觀上看起來並不怎麼起眼， 但是它的無人自駕駛能力不亞於 Google、Tesla、General Motors 這些科技巨頭所研發的無人自駕駛技術水準。 最關鍵的一點是， 在整個行駛過程中， 不會出現任何一個工程師、程式師， 他們不會發出一個指令，
馬路上跑著這樣一輛車子， 固然能獲取到聚光燈下的喝彩， 但仔細想想也確實覺得有點嚇人。 因為沒有任何一個人能夠完全的掌握這輛汽車在各個時間點上的決策機制， 思維路徑。
通過汽車感測器捕獲的資訊會直接進入到由人工智慧神經所組成的巨大網路系統當中， 資料在裡面被處理， 然後轉化成為必要的指令， 進而控制汽車的油門、方向盤、還有刹車及其他系統。 汽車上整個系統搭配協作起來， 宛如一個老經驗的司機在開車。
可是如果有一天，
也正因為無人自駕駛汽車當自我學習升級到了一定程度， 開始超出人們的認知邊界的時候， 人工智慧核心的問題， 又或者稱之為所有人要麼刻意避而不談， 要麼忽視掉的問題就浮出水面了：將人工智慧的韁繩牢牢把持在人類的手裡， 和人工智慧技術的前進方向是存在著本質衝突的。
最近這幾年， 人工智慧技術中的一個分支：深度學習，
但上述願景的實現是存在兩個前提條件的。 首先， 這項技術無論發展到怎樣的程度， 在它的發明者眼裡應該都是可以被理解的， 或者說是透明的；其次， 這項技術無論走到何處， 它應該永遠是本著對使用者負責的目的來運行的。 如果這兩點做不到， 人工智慧技術就完全真正成熟普及開來， 因為你永遠不知道它什麼時候會抽風。
這也是為什麼 Nvidia 的無人自駕駛汽車如今還處於測試階段。
我們開始逐漸不知道它的生成決策機制是什麼了其實我們現在已經有了一些數學模型， 可以用來決定「誰能夠獲得假釋」， 「誰可以獲得這筆貸款」， 「誰能夠得到這個工作機會」。 其實你只要多花點兒時間去研究一下這些模型， 你肯定能夠明白這些決策是基於怎樣的推理做出來的。但是如今的銀行、軍隊、私營企業老闆，他們都在尋求更加高級複雜的機器學習路徑，這使得完全自動化的決策機制，變得極其難以回溯其原因。
麻省理工學院的一名專門研究機器學習應用的教授 Tommi Jaakkola 就表示：「人工智慧變得難以理解和掌控，這現在已經是一個問題，而在將來會成為一個更大的麻煩。無論你是投資行業，醫療行業又或者是做軍事部署，你是不可能完全將決策機制交給一個你無法看清楚的『黑盒子』的。」
事實上，不斷「拷問」人工智慧系統的決策機制，這已經逐漸成為了法律上必須盡到的一項責任。從 2018 年的夏季開始，歐盟有可能要求各家公司，在解釋自動化系統如何運行上面，向用戶做出一番合理的解釋。這其實真的是很難辦到的事，哪怕是一些最流於皮毛，淺嘗輒止的系統，比如如今各大網站，以及手機應用中利用人工智慧演算法來推送廣告以及推薦歌曲，它們都難以把每一個環節的決策說的明白無誤。
其實進一步的，這個問題的核心其實就歸結到了「信任」兩個字身上。我們是否要將世界運行的一些關鍵崗位，功能，逐步地讓渡給機器，並相信它們能辦好這件事呢？
說到底，我們人類自己其實也無法圓滿解釋自己的思維路徑，但是我們人類社會之所以能夠運轉下去全是建立在下面兩個因素上：其一就是不需要任何理由的信任，其二是我們能夠基於外部的一些表像來評價這個人。
我們作為世間的造物主，從來沒有開發出來過一款我們無法理解的機器，我們是否有可能跟一個智慧型機器交流並相處？哪怕它在我們面前是不可知的？帶著這個問題，我前往了世界上人工智慧演算法的前沿地帶：Google、Apple 以及其他一些科技大公司，其中還有一名我們這個時代最為優秀的哲學家。
目前人工智慧的進展有可能已經開始挑戰你的想像力邊界了在 2015 年，紐約城，一家名叫 Mount Sinai 的醫院裡有一個研發團隊，正打算將深度學習技術應用在醫院有關病人檔案的資料庫中。這個資料庫非常巨大，裡面病人的資訊真的是分的特別的細緻，比如他們每次的身體體檢結果，比如他們來看醫生的次數等等。
最終，這個深度技術項目終於上線，並取了個名字叫「Deep Patient」，它用來學習的資料涉及到了 70 萬個病人。它通過學習這麼大量的資料之後獲得了一種怎樣的本領呢？當人們把一個新病人的病歷拿給它「看」，它能很準確地預測出來這個人有可能得的疾病。
沒有任何專業醫師指導的前提下，這個 Deep Patien 似乎從海量的醫院資料當中找出來了一些直抵真相的隱秘路徑，這些路徑在人們肉眼底下完全是隱形的。人們究竟有著怎樣的生活作息，家族病史，曾經得過的疾病，這些資訊組合到一起，會讓他們在將來得上哪些病，其中包括了肝癌。
Mount Sinai 團隊的領導人 Joel Dudley 認為：「其實現在在疾病預測上面有好幾種非常前沿的技術，不過是我們目前採取的這項技術表現的更加優秀而已。」
但與此同時，Deep Patient 也有一些讓人存疑的地方。就比如說，它在預測精神錯亂分支下的「精神分裂」上出奇的準確。但要預測「精神分裂」，這對於醫生來說簡直是難如登天。最讓 Dudley 困惑不解的一點是：這個人工智慧到底是怎麼做到這一點的？他是真的完全摸不到一點頭緒。
如果 Deep Patient 的預測會通過時間的檢驗，獲得進一步的落實，那麼也許醫生們會參考它的建議，在病人所開發的藥上面做一些變動，讓本來會出現的病不再出現？Dudley 不無悲傷地說到：「確實是我們開發了這些模型和系統，但是我們到頭來不知道它們是怎麼運作的。」
深度學習是人工智慧技術獲得突破的關鍵人工智慧可不是從一開始就變的如此的「神秘莫測」的。從這個概念出現的那天開始，其實關於人工智慧的理解方式，解讀方式，一直有兩種學派。
一些人認為：基於一些規則和邏輯去打造智慧型機器，這是合乎情理的，它內部的運作機理也是完全透明的，每個想要去檢查代碼的人，都可以一覽無餘。
還有一些人覺得：如果機器能夠從生物上借鑒，從觀察和體驗中去學習，智慧才有可能出現。這就直接顛覆了原本的電腦程式設計概念。這個時候不是程式師在寫代碼來解決某個問題了，程式會基於樣本資料，和一個期望的結果，自動去生成一些演算法。也正是基於這種思路，才有了如今最為強大的人工智慧系統：機器可以自我進行程式設計。
其實從一開始，也就是上世紀的六七十年代，後者這種思路並不被人們所看好。大家還停留在寫程式，讓程式執行命令這種狹窄範疇當中。但後來，隨著不斷有行業歷經數位化變遷，而機器學習的方法逐漸流行起來，這再次點燃了人們的興趣，並催生出來了一批機器學習的途徑和方法，其中最為強大的莫過於「人工神經網路」。
但即便如此，直到最近的 10 年時間，它才真正在自動化感知領域真正顯示出強大的威力，如今已經可以形成一些非常巨大的，或者說「深度」的神經網路系統。深度學習直接帶來了如今人工智慧技術的迅速躥紅，它賦予了電腦一種史無前例的能力，比如像人一樣地去識別語音。這種能力是壓根不可能通過手動輸入代碼來完成的。
深度學習還大幅度地提升了機器翻譯的能力，可以這麼說，它已經徹底改變了人們對電腦的理解，對它未來的某種期待，它現在用來在醫療、金融、製造業以及其他領域中指引著各項決策的生成。
任何有關機器學習的技術，它的工作機理是近乎於不透明的，哪怕對於一個電腦學家來說也是如此。這不是說未來人工智慧技術全都是不可知的，而是說從本質上來說，深度學習近乎於一個純黑色的「黑匣子」。
你是不可能把頭伸進這個「黑匣子」裡面觀察它是怎麼工作的。網路中進行推理思考的環節是發生在數以千計的「模擬神經元」上的，而這數以千計的「神經元」，又組成了好幾個異常複雜，相互關聯的「層」。在「第一層」的神經元吸收一個信號，比如說是圖片上某個圖元的大小，然後進行一番運算之後給出一個新的信號。在超複雜的網路結構中，「第一層」的信號再發送到「第二層」，依次類推，最終一個運算結果就出現了。另外，這裡還存在著一個叫做「反向傳播」的概念，它會不斷地調整，修正單位神經元的運算結果，使得最終出來的結果更加接近於人們期望中的目標。
這種在深度網路中設置各種層，並進而獲取在不同層級的抽象尺度上面去理解、識別事物的本領。就比如說在一個專門用來識別狗狗的系統中，較低的層級是用來識別一些簡單的資訊，比如狗狗的輪廓、顏色；較高的層級是用來識別較為複雜的東西，比如皮毛和眼睛。最高的層級最終確認它就是一條狗。
這樣的方式和路徑其實可以用來做很多事，讓機器完全自我學習的任務，比如通過「聲音」來識別「語音」中的「單詞」，比如通過「字」和「詞」來創造文本中的「句子」，又或者是在汽車行駛過程當中，控制方向盤的擺動。
這種天才般的想法已經用來分析，和解釋系統中部分的工作機制。在 2015 年，Google 的研究人員對「基於深度學習技術的圖片識別演算法」進行了一些修改，這樣一來，演算法不再在照片中去識別物體，而是在原有圖片的基礎上生成一個新的圖片。
通過有效地對這些演算法進行「逆向運行」，他們終於可以搞明白程式是通過哪些特點來進行物體識別的，比如識別一隻鳥或者一棟建築物。專案 Deep Dream 所生成了一些最終的圖片裡，有從雲和植物中走出來的，貌似外星人的奇怪動物，有遍佈森林山川，存在於人們幻覺當中的古塔。
這些圖片證明了：深度學習也並非是完全無從下手去瞭解，演算法也是將自己的注意力放在了一些熟悉的視覺特點上，比如鳥嘴以及皮毛。但同時，它也證明了深度學習和人類感知是多麼的不同，
Google 的研究人員指出：演算法依照大笨鐘進行圖片的生成，在生成鐘的同時，總是會有一支人的胳膊握著它。機器似乎已經認定：大笨鐘的本身就存在著一條人的胳膊。
借助於「神經學」和「認知學」上的概念，深度學習走得更遠了。美國懷俄明州大學的助理教授 Jeff Clune 就領導了一個團隊，
我們想要探究人工智慧的思考路徑，僅僅做到往裡面瞅上一眼肯定是不夠的。但是，想要窺見全貌，從頭至尾地走完整個流程，這真的是很難做到的事。在深度神經網路中，複雜的運算相互疊加，勾連，這樣才能實現高級別的模式辨認和複雜的決策生成。這些計算簡直就是數學方程式和變數所組成的一個巨大無比的「沼澤」。
資深研究人員 Jaakola 就表示：「如果這只是一個規模很小的神經網路，你也許還可以試著理解它。但是一旦它的規模變大，每一層有數千個神經元，一共有數百層這麼多，那麼它就完全超脫出人們認知能力的極限了。」
Jaakola 旁邊的辦公室是屬於 Regina Barzilay 的，他是麻省理工學院的一名教授，致力於將機器學習應用在醫藥領域。幾年前，當時的她 43 歲，被診斷患有乳腺癌。這個結果下來本身就挺讓人沮喪的了。但是讓她更加沮喪的是：處於行業尖端的資料分析及機器學習方式沒有在醫療行業獲得認可，沒有獲准在腫瘤研究方面提供幫助或者是引導病人的治療。
她說：人工智慧在顛覆醫療行業方面有著極為強大的潛力，但是外界卻不這麼看，他們認為人工智慧所能幹的事兒無非就是整理整理病人的醫療檔案而已。但如果所有原始資料都能拿來讓人工智慧分析，想想這會帶來怎樣意想不到的效果？！
去年，她完成了乳腺癌的治療。隨後，她與她的學生開始與麻塞諸塞著公立醫院的醫生合作，開發一種提取病理報告的人工智慧系統，在病理報告中會明確注明病人的臨床反應，方便醫療工作者對病情的跟蹤和分析。但是，Barzilay 清楚：這個系統要推廣，首先你得給大家解釋系統是怎麼得出這些結論來的。
所以，她跟 Kaakkola 和她的一名學生一起，增加了這麼一個步驟：系統提取、或者高亮出來一段文本，它指明了人工智慧目前發現的一種新的模式。同時，他們還開發了一種深度學習演算法，能夠在乳房 X 射線圖片中，提前就發現乳腺癌的一些徵兆。當然，他們還得想著針對這個功能，開發出一種能夠給大家說明原理的系統出來。
Barzilay 說道：「你真的需要在人與機器之間設計出一個協作的迴圈出來。讓人能夠相信機器。」
就像是人類的行為無法每一個都給外界解釋的清楚透徹，AI 也不可能把自己全部敞開來讓所有人參觀。懷俄明州大學的教授 Clune 說道：「智慧活動本身的一大特點，就是在理性分析之外，還有一些無法解釋的部分，比如本能，下意識的反應。這是你無法追溯根源的。」
那麼到最終，如果我們真的將信任交付在人工智慧手裡，那麼在此之前還有一個問題需要解決。我們在設計人工智慧系統的時候，要讓它能夠適應我們現有的社會準則，如果我們要開發機器人坦克或者其他殺人武器，我們需要讓其符合一定的道德標準才可以。
當我在人工智慧的話題上走得越來越深，我去 Tufits 大學採訪了 Daniel Dennett，這是一名非常著名的哲學家及研究意識和思維的認知學家。他的新書《From Bacteria to Bach and Back》（從細菌到巴赫，再回到過去）揭示了智慧生命進化的本質：新生成的這個系統有能力去製造一個「系統的製造者」完全不知道怎麼去完成的事。
同時，他還給我們發出了警告：如果人工智慧系統跟我們一樣，無法徹底解釋它的一切活動，也許在目前，或者說未來很長的一段時間裡，我們最好還是不要信任它為好。」
本文來源：MIT Technology Review 你肯定能夠明白這些決策是基於怎樣的推理做出來的。但是如今的銀行、軍隊、私營企業老闆，他們都在尋求更加高級複雜的機器學習路徑，這使得完全自動化的決策機制，變得極其難以回溯其原因。
麻省理工學院的一名專門研究機器學習應用的教授 Tommi Jaakkola 就表示：「人工智慧變得難以理解和掌控，這現在已經是一個問題，而在將來會成為一個更大的麻煩。無論你是投資行業，醫療行業又或者是做軍事部署，你是不可能完全將決策機制交給一個你無法看清楚的『黑盒子』的。」
事實上，不斷「拷問」人工智慧系統的決策機制，這已經逐漸成為了法律上必須盡到的一項責任。從 2018 年的夏季開始，歐盟有可能要求各家公司，在解釋自動化系統如何運行上面，向用戶做出一番合理的解釋。這其實真的是很難辦到的事，哪怕是一些最流於皮毛，淺嘗輒止的系統，比如如今各大網站，以及手機應用中利用人工智慧演算法來推送廣告以及推薦歌曲，它們都難以把每一個環節的決策說的明白無誤。
其實進一步的，這個問題的核心其實就歸結到了「信任」兩個字身上。我們是否要將世界運行的一些關鍵崗位，功能，逐步地讓渡給機器，並相信它們能辦好這件事呢？
說到底，我們人類自己其實也無法圓滿解釋自己的思維路徑，但是我們人類社會之所以能夠運轉下去全是建立在下面兩個因素上：其一就是不需要任何理由的信任，其二是我們能夠基於外部的一些表像來評價這個人。
我們作為世間的造物主，從來沒有開發出來過一款我們無法理解的機器，我們是否有可能跟一個智慧型機器交流並相處？哪怕它在我們面前是不可知的？帶著這個問題，我前往了世界上人工智慧演算法的前沿地帶：Google、Apple 以及其他一些科技大公司，其中還有一名我們這個時代最為優秀的哲學家。
目前人工智慧的進展有可能已經開始挑戰你的想像力邊界了在 2015 年，紐約城，一家名叫 Mount Sinai 的醫院裡有一個研發團隊，正打算將深度學習技術應用在醫院有關病人檔案的資料庫中。這個資料庫非常巨大，裡面病人的資訊真的是分的特別的細緻，比如他們每次的身體體檢結果，比如他們來看醫生的次數等等。
最終，這個深度技術項目終於上線，並取了個名字叫「Deep Patient」，它用來學習的資料涉及到了 70 萬個病人。它通過學習這麼大量的資料之後獲得了一種怎樣的本領呢？當人們把一個新病人的病歷拿給它「看」，它能很準確地預測出來這個人有可能得的疾病。
沒有任何專業醫師指導的前提下，這個 Deep Patien 似乎從海量的醫院資料當中找出來了一些直抵真相的隱秘路徑，這些路徑在人們肉眼底下完全是隱形的。人們究竟有著怎樣的生活作息，家族病史，曾經得過的疾病，這些資訊組合到一起，會讓他們在將來得上哪些病，其中包括了肝癌。
Mount Sinai 團隊的領導人 Joel Dudley 認為：「其實現在在疾病預測上面有好幾種非常前沿的技術，不過是我們目前採取的這項技術表現的更加優秀而已。」
但與此同時，Deep Patient 也有一些讓人存疑的地方。就比如說，它在預測精神錯亂分支下的「精神分裂」上出奇的準確。但要預測「精神分裂」，這對於醫生來說簡直是難如登天。最讓 Dudley 困惑不解的一點是：這個人工智慧到底是怎麼做到這一點的？他是真的完全摸不到一點頭緒。
如果 Deep Patient 的預測會通過時間的檢驗，獲得進一步的落實，那麼也許醫生們會參考它的建議，在病人所開發的藥上面做一些變動，讓本來會出現的病不再出現？Dudley 不無悲傷地說到：「確實是我們開發了這些模型和系統，但是我們到頭來不知道它們是怎麼運作的。」
深度學習是人工智慧技術獲得突破的關鍵人工智慧可不是從一開始就變的如此的「神秘莫測」的。從這個概念出現的那天開始，其實關於人工智慧的理解方式，解讀方式，一直有兩種學派。
一些人認為：基於一些規則和邏輯去打造智慧型機器，這是合乎情理的，它內部的運作機理也是完全透明的，每個想要去檢查代碼的人，都可以一覽無餘。
還有一些人覺得：如果機器能夠從生物上借鑒，從觀察和體驗中去學習，智慧才有可能出現。這就直接顛覆了原本的電腦程式設計概念。這個時候不是程式師在寫代碼來解決某個問題了，程式會基於樣本資料，和一個期望的結果，自動去生成一些演算法。也正是基於這種思路，才有了如今最為強大的人工智慧系統：機器可以自我進行程式設計。
其實從一開始，也就是上世紀的六七十年代，後者這種思路並不被人們所看好。大家還停留在寫程式，讓程式執行命令這種狹窄範疇當中。但後來，隨著不斷有行業歷經數位化變遷，而機器學習的方法逐漸流行起來，這再次點燃了人們的興趣，並催生出來了一批機器學習的途徑和方法，其中最為強大的莫過於「人工神經網路」。
但即便如此，直到最近的 10 年時間，它才真正在自動化感知領域真正顯示出強大的威力，如今已經可以形成一些非常巨大的，或者說「深度」的神經網路系統。深度學習直接帶來了如今人工智慧技術的迅速躥紅，它賦予了電腦一種史無前例的能力，比如像人一樣地去識別語音。這種能力是壓根不可能通過手動輸入代碼來完成的。
深度學習還大幅度地提升了機器翻譯的能力，可以這麼說，它已經徹底改變了人們對電腦的理解，對它未來的某種期待，它現在用來在醫療、金融、製造業以及其他領域中指引著各項決策的生成。
任何有關機器學習的技術，它的工作機理是近乎於不透明的，哪怕對於一個電腦學家來說也是如此。這不是說未來人工智慧技術全都是不可知的，而是說從本質上來說，深度學習近乎於一個純黑色的「黑匣子」。
你是不可能把頭伸進這個「黑匣子」裡面觀察它是怎麼工作的。網路中進行推理思考的環節是發生在數以千計的「模擬神經元」上的，而這數以千計的「神經元」，又組成了好幾個異常複雜，相互關聯的「層」。在「第一層」的神經元吸收一個信號，比如說是圖片上某個圖元的大小，然後進行一番運算之後給出一個新的信號。在超複雜的網路結構中，「第一層」的信號再發送到「第二層」，依次類推，最終一個運算結果就出現了。另外，這裡還存在著一個叫做「反向傳播」的概念，它會不斷地調整，修正單位神經元的運算結果，使得最終出來的結果更加接近於人們期望中的目標。
這種在深度網路中設置各種層，並進而獲取在不同層級的抽象尺度上面去理解、識別事物的本領。就比如說在一個專門用來識別狗狗的系統中，較低的層級是用來識別一些簡單的資訊，比如狗狗的輪廓、顏色；較高的層級是用來識別較為複雜的東西，比如皮毛和眼睛。最高的層級最終確認它就是一條狗。
這樣的方式和路徑其實可以用來做很多事，讓機器完全自我學習的任務，比如通過「聲音」來識別「語音」中的「單詞」，比如通過「字」和「詞」來創造文本中的「句子」，又或者是在汽車行駛過程當中，控制方向盤的擺動。
這種天才般的想法已經用來分析，和解釋系統中部分的工作機制。在 2015 年，Google 的研究人員對「基於深度學習技術的圖片識別演算法」進行了一些修改，這樣一來，演算法不再在照片中去識別物體，而是在原有圖片的基礎上生成一個新的圖片。
通過有效地對這些演算法進行「逆向運行」，他們終於可以搞明白程式是通過哪些特點來進行物體識別的，比如識別一隻鳥或者一棟建築物。專案 Deep Dream 所生成了一些最終的圖片裡，有從雲和植物中走出來的，貌似外星人的奇怪動物，有遍佈森林山川，存在於人們幻覺當中的古塔。
這些圖片證明了：深度學習也並非是完全無從下手去瞭解，演算法也是將自己的注意力放在了一些熟悉的視覺特點上，比如鳥嘴以及皮毛。但同時，它也證明了深度學習和人類感知是多麼的不同，
Google 的研究人員指出：演算法依照大笨鐘進行圖片的生成，在生成鐘的同時，總是會有一支人的胳膊握著它。機器似乎已經認定：大笨鐘的本身就存在著一條人的胳膊。
借助於「神經學」和「認知學」上的概念，深度學習走得更遠了。美國懷俄明州大學的助理教授 Jeff Clune 就領導了一個團隊，
我們想要探究人工智慧的思考路徑，僅僅做到往裡面瞅上一眼肯定是不夠的。但是，想要窺見全貌，從頭至尾地走完整個流程，這真的是很難做到的事。在深度神經網路中，複雜的運算相互疊加，勾連，這樣才能實現高級別的模式辨認和複雜的決策生成。這些計算簡直就是數學方程式和變數所組成的一個巨大無比的「沼澤」。
資深研究人員 Jaakola 就表示：「如果這只是一個規模很小的神經網路，你也許還可以試著理解它。但是一旦它的規模變大，每一層有數千個神經元，一共有數百層這麼多，那麼它就完全超脫出人們認知能力的極限了。」
Jaakola 旁邊的辦公室是屬於 Regina Barzilay 的，他是麻省理工學院的一名教授，致力於將機器學習應用在醫藥領域。幾年前，當時的她 43 歲，被診斷患有乳腺癌。這個結果下來本身就挺讓人沮喪的了。但是讓她更加沮喪的是：處於行業尖端的資料分析及機器學習方式沒有在醫療行業獲得認可，沒有獲准在腫瘤研究方面提供幫助或者是引導病人的治療。
她說：人工智慧在顛覆醫療行業方面有著極為強大的潛力，但是外界卻不這麼看，他們認為人工智慧所能幹的事兒無非就是整理整理病人的醫療檔案而已。但如果所有原始資料都能拿來讓人工智慧分析，想想這會帶來怎樣意想不到的效果？！
去年，她完成了乳腺癌的治療。隨後，她與她的學生開始與麻塞諸塞著公立醫院的醫生合作，開發一種提取病理報告的人工智慧系統，在病理報告中會明確注明病人的臨床反應，方便醫療工作者對病情的跟蹤和分析。但是，Barzilay 清楚：這個系統要推廣，首先你得給大家解釋系統是怎麼得出這些結論來的。
所以，她跟 Kaakkola 和她的一名學生一起，增加了這麼一個步驟：系統提取、或者高亮出來一段文本，它指明了人工智慧目前發現的一種新的模式。同時，他們還開發了一種深度學習演算法，能夠在乳房 X 射線圖片中，提前就發現乳腺癌的一些徵兆。當然，他們還得想著針對這個功能，開發出一種能夠給大家說明原理的系統出來。
Barzilay 說道：「你真的需要在人與機器之間設計出一個協作的迴圈出來。讓人能夠相信機器。」
就像是人類的行為無法每一個都給外界解釋的清楚透徹，AI 也不可能把自己全部敞開來讓所有人參觀。懷俄明州大學的教授 Clune 說道：「智慧活動本身的一大特點，就是在理性分析之外，還有一些無法解釋的部分，比如本能，下意識的反應。這是你無法追溯根源的。」
那麼到最終，如果我們真的將信任交付在人工智慧手裡，那麼在此之前還有一個問題需要解決。我們在設計人工智慧系統的時候，要讓它能夠適應我們現有的社會準則，如果我們要開發機器人坦克或者其他殺人武器，我們需要讓其符合一定的道德標準才可以。
當我在人工智慧的話題上走得越來越深，我去 Tufits 大學採訪了 Daniel Dennett，這是一名非常著名的哲學家及研究意識和思維的認知學家。他的新書《From Bacteria to Bach and Back》（從細菌到巴赫，再回到過去）揭示了智慧生命進化的本質：新生成的這個系統有能力去製造一個「系統的製造者」完全不知道怎麼去完成的事。
同時，他還給我們發出了警告：如果人工智慧系統跟我們一樣，無法徹底解釋它的一切活動，也許在目前，或者說未來很長的一段時間裡，我們最好還是不要信任它為好。」
本文來源：MIT Technology Review