“我們需要放棄掉反向傳播演算法(Backpropagation algorithm), 重新開闢一條新的路徑。 ”終於, Hinton 還是表達出了這個或許已經埋藏他內心很久的想法。
圖丨神經網路之父 Geoffrey Hinton
在上週三的一場多倫多 AI 會議上, Hinton 接受了 Axios 的採訪時袒露了對反向傳播演算法的質疑。 他認為反向傳播演算法並不是大腦運作的方式, 要想讓神經網路變得更智慧。 就必須放棄這種為所有資料標注的方式。
而 Hinton 所提到的反向傳播演算法在當今的人工智慧領域扮演著重要的角色。 在輸入資料固定的情況下、反向傳播演算法利用神經網路的輸出敏感度來快速計算出神經網路中的各種超參數。 它之所以重要, 是因為極高的效率。 在圖像與語音的識別分類上具有重要作用。
雖然會議上的其他科學家堅持反向傳播在人工智慧未來的發展中仍然將發揮著重要的作用, 但顯然 Hinton 已經開始考慮全新的技術路徑了。
1986 年的那篇 Hinton 與 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learning representations by back-propagation errors》論文具有重要的意義, 可以說是代表著反向傳播演算法首次被引入到多層神經網路訓練, 也為後來該演算法的推廣埋下伏筆。
但作為反向傳播演算法的發起者, Hinton 又親自否定了自己成果, 想要重新開始, 這不由得讓人聯想到普朗克的那句名言“科學是通過一次又一次的葬禮而取得前進的”。