MIT和Google讓AI獲得多種感官協調能力

雷鋒網消息 根據MIT和Google研究人員近期發表的論文，他們正在訓練AI將圖像、聲音和文字等多方面資訊匹配起來。

在語音辨識、圖像識別以及下圍棋等單項能力方面，AI已經足夠出色，甚至超越了人類。但是如果AI一次只能使用一種感知能力，無法將看到和聽到的內容進行匹配的話，就無法徹底理解周圍的世界。這正是MIT和Google的研究人員進行這項研究原因。

研究人員並沒有教給演算法任何新東西，只是建立了一種方式讓演算法能夠將多種感官獲得的知識進行連接和協調。

這一點至關重要。

論文的聯合作者之一——MIT的AI博士後Yusuf Aytar以無人車為例：比如無人車的聲音感測器先聽到了救護車的聲音，然後雷射雷達才看到救護車的樣子。有關救護車的鳴叫聲、樣子以及職能的知識可以讓無人車放慢速度，切換車道，為救護車讓路。

他說道：“你是先看到汽車還是先聽見引擎聲並沒有關係，你馬上能識別出這是同一個概念。

因為你大腦中的資訊已經自然地把它們協調統一起來了。”

為了訓練這套系統，MIT的研究小組首先向神經網路展示了與音訊相關的視頻幀。在神經網路發現視頻中的物件並且識別出特別的音訊之後，AI就會嘗試預測哪一個物件跟聲音關聯。比方說，招手會不會發出聲音呢？

接下來，研究人員又以相同的形式為演算法提供了帶標題的圖片，讓它將文字和圖片進行匹配。

網路首先需要單獨識別出圖中所有的物件以及相關問題，然後才能進行匹配。

由於AI獨立識別聲音、圖像、文字的能力已經十分出色，這種網路乍看之下並沒有什麼了不起。但研究人員表示，當他們對AI進行聲音/圖像、圖像/文字的配對訓練時，系統就能在未經訓練指導哪個單詞與不同聲音匹配的情況下將聲音與文字關聯起來。這表明神經網路對於所看到的、聽到的或者讀到的東西已經形成了更加客觀的看法，

而且這種看法的形成並不完全依賴於它用來瞭解這一資訊的媒介。

統籌物件的觀感、聽覺以及文字後，演算法就能自動將聽到的東西轉化為視覺圖像，從而強化對於世界的理解。

據悉，Google也進行了類似的研究，不過Google更加強調一點：新演算法還能將文字轉化成其他的媒體形式，雖然從準確率上來說，它暫時還比不上單用途的演算法。