您的位置:首頁>正文

AI並不需要互聯網:利用有性生殖,合成更多樣、緊湊的神經網路

新智元報導

滑鐵盧大學研究人員表示, 他們可以讓人工智慧在計算和存儲資源被移除後自行適應, 方法是教AI學習自己並不需要那麼多資源。

如果真的做到了這一點, 神經網路將不受互聯網和雲的影響, 這樣的好處是:隱私性更好, 資料發送成本更低, 可攜性更強, 在地理偏遠地區也能使用AI應用程式。

親代網路“有性生殖”, 得到更加多樣和通用的子網路

在題為《深度神經網路交配儀式:通過有性演化合成學習緊湊特徵表示》(The Mating Rituals of Deep Neural Networks: Learning Compact Feature Representations Through Sexual Evolutionary Synthesis)的論文中,

研究人員描述了他們模仿自然演化過程, 將神經網路置於虛擬環境中, 然後“不斷地逐漸減少AI能夠獲取的資源”, 從而生成更緊湊子代神經網路的過程。

研究人員從生物演化中獲得靈感, 利用有性生殖比無性生殖後代更加多樣、適應性更強的特點, 在合成神經網路過程中(也即傳統的“無性生殖”方式), 增加了一個交配功能, 讓兩個親代網路“有性”結合, 生成子網路。

神經網路在虛擬環境中進行有性生殖

同時, 研究人員不斷將AI可以獲取的計算和存儲資源減少, 訓練AI學會自己沒有大量計算資源可用的這一事實, 於是AI不斷改變自己來適應環境, 生成了特徵更加緊湊的後代。

論文作者、滑鐵盧研究教授Mohammad Javad Shafiee表示, 當他們減少AI系統的計算能力或存儲容量時, AI就會變得更小, 從而“能夠在這些環境中生存下去”。 在實驗中, 研究人員將用於特定物體識別任務的神經網路體積縮小了200倍。

這種輕量緊湊的AI非常適於整合到嵌入設備(比如智慧手機), 運行語音助理或其他智慧功能。

邊緣AI:更小、更輕的智慧

滑鐵盧大學的這個AI並不是第一個邊緣AI(Edge AI)。 英特爾在今年早些時候推出了Movidus神經計算棒, 這種隨插即用的神經計算設備售價低於100美元, 能在沒有互聯網的邊緣部署視覺神經網路。

基於Movidius的技術, 穀歌也推出了基於樹莓派的視覺神經網路加速套件AIY Vision Kit, 在沒有雲連接的情況下, 提供強大的電腦視覺能力,

售價不到50美元。

滑鐵盧大學的深度學習AI, 也面向終端應用, 能讓移動設備(智慧手機)在沒有互聯網的情況下進行物體識別。 根據MNIST和CIFAR-10資料集的實驗結果, 相對于無性進化的神經網路基準, “有性”演化出的神經網路擁有更高的結構效率(architectural efficiency), 在測試精度方面也表現不錯。

具體說, 在MNIST上結構效率翻倍(集群效率34.29倍, 突觸效率258.37倍), 而且測試精度都達到了97%。

研究人員表示, 他們接下來的研究方向是更徹底地調查如何讓有利的“性狀”遺傳到子代的方法, 以及設計更好的“擇偶規則”, 從而讓神經網路中適合於終端智慧應用的特定集群及其特徵能夠強強結合, 並且延續到子代審計網路

論文作者、滑鐵盧大學系統設計工程教授Alexander Wong說:“我們認為這一技術擁有巨大的潛力, 對於很多計算資源受限且網路連線性受限的應用情景, 這項技術可能成為很大的推動力。 ”

相關論文:https://arxiv.org/pdf/1709.02043.pdf

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示