通過分析大量訓練資料來學習， 執行計算任務的神經網路， 是目前表現最好的人造智慧系統， 從語音辨識系統到自動翻譯， 到自動駕駛。
但神經網路是黑盒子。 一旦他們接受了培訓， 即使他們的設計師都很少知道AI在做什麼——他們正在處理什麼資料元素。
兩年前， 麻省理工學院的電腦科學和人工智慧實驗室（CSAIL）的電腦視覺研究人員團隊， 描述了一種用於窺視被訓練出來識別視覺場景的神經網路黑盒子的方法。 該方法提供了一些有趣的見解， 但它需要將資料發送給通過亞馬遜的Mechanical Turk廣泛使用的人員。
在今年的電腦視覺和模式識別會議上， CSAIL研究人員將提供一個完全自動化的同一系統版本。 CSAIL前一篇論文描述了對一個訓練有素的神經網路執行一項任務的分析， 新檔報告了對執行20多個任務進行訓練的四種類型的神經網路的分析， 包括識別場景和物件，
神經網路被稱為是因為它們與人類神經系統鬆散相似， 具有大量相當簡單而密集的資訊處理“節點”。 像神經元一樣， 神經網路的節點從鄰居接收資訊信號， 然後“觸發”發出自己的信號——要或不要。 和神經元一樣， 節點的射擊回應的強度可以變化。
在新的論文和前一篇文章中， 麻省理工學院的研究人員都對訓練有素的神經網路進行電腦視覺任務測試， 以便瞭解他們公開回應於不同輸入圖像而單個節點發射的強度。 然後他們選擇了10個輸入圖像，
在較早的文章中， 研究人員將圖像發送給通過Mechanical Turk招募的工作人員， 他們被要求確定圖像的共同點。 在新的論文中， 他們使用電腦系統。
麻省理工學院電氣工程研究生David Bau說：“我們編目了1,100個視覺概念， 例如綠色或漩渦紋理， 木質材料， 人臉， 自行車車輪或雪山頂等。 ”“我們吸取了其他人開發的幾個資料集， 並將它們合併成一個廣泛而密集的視覺概念資料集。 它有很多很多標籤， 對於每個標籤， 我們知道哪個圖像對應於該標籤。
研究人員還知道哪些圖像的圖元對應於給定網路節點的最強回應。 今天的神經網路被組織成層。 資料被饋送到最低層， 其處理它們並將它們傳遞到下一層，
對於他們其中一個網路中的高級節點的強烈反應， 研究人員可以追溯到導致它的觸發模式， 從而識別其回應的特定圖像圖元。 因為他們的系統可能會頻繁地識別出， 與給定節點引起強烈回應的精確圖元簇相對應的標籤， 所以它可以極大地表徵節點的行為。
研究人員將資料庫中的視覺概念組織成一個層次結構。 層次結構的每個層次結合了以下級別的概念， 從顏色開始， 向上通過紋理， 材料， 零件， 物件和場景。 通常， 神經網路的較低層將回應於更簡單的視覺特性（例如顏色和紋理）而發射， 並且較高的層將回應於更複雜的特性而觸發。
但層次結構也允許研究人員量化網路訓練對不同視覺特性執行不同任務的重點。 例如， 網路被訓練為將大部分節點的黑白圖像著色以識別紋理。 另外一個網路， 經過多個視頻跟蹤物件進行訓練時， 將其比較高的節點投入場景識別， 而不是在訓練時識別場景; 在這種情況下， 其許多節點實際上專門用於物件檢測。
研究人員的實驗之一可以揭示神經科學中棘手的問題。 研究涉及植入人腦的電極， 以控制嚴重神經系統疾病的人， 受試者似乎表明腦中的個體神經元回應特定的視覺刺激而發火。 最初稱為祖母神經元假說比最近一代神經科學家更為人熟知， 就像詹妮弗——安妮斯頓神經元假說一樣， 發現幾個神經系統的患者似乎只對特定好萊塢名人的描述作出反應。
許多神經科學家對這種解釋提出異議。他們認為，改變神經元的作用，而不是單個的神經元，在大腦中錨定感覺辨別。因此，所謂的珍妮佛·安妮斯頓神經元只是許多神經元之一，它們是回應詹妮弗·安妮斯頓（Jennifer Aniston）的圖像而共同發射的。它可能是許多其他星座的一部分，以回應尚未測試的刺激。
由於他們的新分析技術是完全自動化的，所以麻省理工學院的研究人員，能夠測試在訓練識別視覺場景的神經網路中，是否發生類似的事情。除了識別調整到特定視覺概念的單個網路節點之外，他們還考慮了隨機選擇的節點組合。然而，節點的組合選擇的視覺概念遠遠少於單個節點——大約減少了80％。
Bau說：“對我而言，這表明神經網路實際上正在試圖得到一個祖母神經元。“他們並不是想把奶奶的想法塗抹在整個地方。他們試圖將它分配給一個神經元。這個結構的這個有趣的提示，大多數人不相信是那麼簡單。“
許多神經科學家對這種解釋提出異議。他們認為，改變神經元的作用，而不是單個的神經元，在大腦中錨定感覺辨別。因此，所謂的珍妮佛·安妮斯頓神經元只是許多神經元之一，它們是回應詹妮弗·安妮斯頓（Jennifer Aniston）的圖像而共同發射的。它可能是許多其他星座的一部分，以回應尚未測試的刺激。
由於他們的新分析技術是完全自動化的，所以麻省理工學院的研究人員，能夠測試在訓練識別視覺場景的神經網路中，是否發生類似的事情。除了識別調整到特定視覺概念的單個網路節點之外，他們還考慮了隨機選擇的節點組合。然而，節點的組合選擇的視覺概念遠遠少於單個節點——大約減少了80％。
Bau說：“對我而言，這表明神經網路實際上正在試圖得到一個祖母神經元。“他們並不是想把奶奶的想法塗抹在整個地方。他們試圖將它分配給一個神經元。這個結構的這個有趣的提示，大多數人不相信是那麼簡單。“