GeekPwn創辦人王琦： 駭客或許是AI時代保護人類的力量

中新網5月5日電 作為世界上第一個自我覺醒的機器人， 電影《超能查派》中人工智慧 “查派”卻被教壞， 逐漸成長為一個“殺人機器”。 人工智慧在未來真的會威脅到人類嗎？人工智慧可能蘊藏著什麼危險？ 5月4日， 碁震KEEN公司創始人兼CEO， 國際安全極客大賽GeekPwn創辦人王琦在“造就”TALK上發表了關於《人“攻”智慧》的演講， 從白帽駭客的視角帶來了對未來人工智慧安全的獨到見解和預測。

（國際安全極客大賽GeekPwn活動創辦人王琦）

AI看到了世界 駭客卻看到了危險

幾十年間， 人工智慧經歷了一波三折的曲折發展， 例如電腦視覺領域的圖像識別， 它的識別正確率一直難以取得大的突破， 但是近年來取得了很多了不起的成果。 2012年， Google X 實驗室發出了一套具備自主學習能力的神經網路系統， 不借助任何外界資訊説明， 它就能從一千萬張圖片中找出那些有小貓的圖片。 如今， 人工智慧已經廣泛應用於生活的諸多場景中，

包括即時語音翻譯、目標識別、自動駕駛、人臉識別、人機對話等等。 王琦在感受到興奮的同時， 也表達了他的擔憂：我們要關注到人工智慧可能暴露出的諸多潛藏風險。

“如果能夠讓自動駕駛的圖像識別產生錯誤判斷， 分不清楚前方遇到的是人還是樹， 我認為這就是黑掉了它， 這可能要比黑掉傳統的控制系統更酷。 ” 王琦說。 GeekPwn實驗室在2015年底開始了AI對抗的研究， 並廣泛接觸和招募AI領域的頂尖人才， 很快， 在2016年的GeekPwn美國站上， 生成對抗網路(GANs)之父Ian Goodfellow就展示了“對抗性圖像”在現實物理世界欺騙機器學習的效果。 原始圖像以60%的置信度判斷為“熊貓”， 但是加入了微小的干擾， 在人眼完全看不出差別的情況下卻以99%的執行度歸為了長臂猿。

加入干擾元素的圖像引起AI的誤判

AI學習和決策模型與駭客領域的漏洞挖掘和利用過程何其相似

AI在圖像領域存在被欺騙的可能性， 讓王琦預見到這種可能性在其他語音和行為智慧等領域也會存在。

AI被欺騙， 看似人工智慧的錯誤和不完善， 但其實在駭客眼裡就有可能變成可以被利用的漏洞。 “現代資訊安全領域裡的高級攻擊利用的漏洞， 在很多年以前都僅僅被看作是電腦錯誤。 需要警惕的是， 凡是錯誤， 可能到了駭客那裡就變成了安全性漏洞。 ”王琦說。 人工智慧依賴對大量樣本進行深度學習， 最後產生決策的過程， 和安全領域裡通過產生大量模糊測試樣本引發電腦異常從而發掘出漏洞， 最終執行流程可以被改變導致安全危害的過程非常相似， 如果說正確樣本能夠產生正確的決策， 那麼駭客通過離線類比產生的AI攻擊樣本， 則可能給人工智慧帶來錯誤的決策和行為。

微軟聊天機器人Tay上線不到一天， 就向網友“成功學習”了新的聊天方式，

從彬彬有禮的美國“姑娘”變得髒話不斷， 言語中還充斥了種族主義、色情等“情感偏見”。 王琦大膽預言：深度依賴學習樣本的人工智慧， 未來對它的攻擊可能甚至不需要編寫代碼， 人人都可能成為“駭客”。

目前AI只有0.1歲 駭客能夠幫助AI安全成長

白帽駭客從對抗的思路出發， 尋找AI潛藏的風險並不斷幫助其完善， 其棒幫助人工智慧安全健康成長。 “對於人工智慧的看法目前分為兩派， 悲觀主義者認為人類研發人工智慧可能是在自取滅亡， 如果真的有那一天的話， 白帽駭客可以做的是保護AI安全發展”王琦說。

當無人駕駛的“眼睛”被欺騙， 它還能在馬路上安全行駛嗎？作為全球首個探討人工智慧和專業安全的前沿賽事平臺， GeekPwn鼓勵更多的白帽子駭客可以協助AI進行安全性的預演分析。將於5月12日在香港星夢郵輪“雲頂夢號”上舉辦的極棒年中賽，就將針對人工智慧的安全課題向全球駭客發出英雄帖。

GeekPwn鼓勵更多的白帽子駭客可以協助AI進行安全性的預演分析。將於5月12日在香港星夢郵輪“雲頂夢號”上舉辦的極棒年中賽，就將針對人工智慧的安全課題向全球駭客發出英雄帖。