當你準備將人工智慧技術整合到你的業務中去， 你應當進行以下的分析：哪裡可能出錯？我們的產品或服務要做什麼？如果出了問題會有什麼發生？我們是否有個損壞減損計畫？想像微軟碰到的聊天機器人慘敗的尷尬場面：當時網路輪流利用其脆弱的編碼， 塞入種族主義的， 恐懼同性戀， 和性別歧視的內容， 導致社交媒體上有百萬級的閱讀量。
由軟體或工業機器人引起的事故包含致命事故， 能追溯到這種技術的早期， 但確切的來說並不是由於系統本身導致。 換個說法， 人工智慧的失敗， 直接和這個系統要展示的東西製造出來的錯誤相關。
一個經常引用的例子就是美軍的電腦系統本寄希望於自動識別偽裝的敵方坦克。 這個系統本要識別坦克的圖片， 但卻學了區分這類圖片的背景。 其他的例子包括設計差勁的功能讓人工智慧只進行部分讓人滿意的行為， 包括為防止損失而暫停遊戲， 或重複地接觸足球來確認球權。
看看當前ＡＩ失敗的例子能有助於理解會產生什麼問題以及如何阻止這些問題——或者至少在失敗後快速清理。 考慮以下過去幾年內這些ＡＩ失敗的例子吧。
· 2015年:一個抓取汽車零件的工業機器人殺死了一名工人；
· 2015年：圖片標記軟體將黑人歸類于大猩猩；
· 2015年：醫療AI將患有哮喘的病人識別為慢性致命肺炎
· 2015年：成人內容識別軟體沒能移除掉不適宜內容， 將兒童暴露于暴力和性場景中
· 2016年：預測慣犯的AI成了種族主義者
· 2016年：一個AI 代理商被利用來在沒有完成遊戲情況下發出贏得遊戲的獲獎信號
· 2016年：視頻遊戲NPC（非玩家控制角色， 或任意角色都不是由人工控制）設計了未授權的超級武器
· 2016年：AI參與評判顏值並將黑皮膚的參賽者評分更低
· 2016年：一個商場的安全機器人和一名兒童碰撞並導致其受傷
· 2016年：AlphaGo 在世界冠軍級別遊戲Go中輸給了人類
並且每一天，
分析以上AI出錯的例子， 我們能得到個簡單的概括：設計來做X的ＡＩ最終不能處理Ｘ任務。 儘管看起來簡單， 但確實強大的概括工具， 能用來未來AI的出錯。 例如， 對那些當前和未來的尖端的AI， 我們能預測到：
· AI醫生可能會在某些方面誤診一些病人而實體的醫生並不會。· 視頻描敘軟體會誤解電影情節
· 笑話生成軟體偶爾會不搞笑
· 諷刺檢查軟體將在諷刺和坦率間迷惑
· 員工掃描軟體將存在系統性的偏見並雇用表現低分者
· 火星探測機器人將會誤判環境並掉入火山坑
· 報稅軟體將漏掉重要減免項目或作出不正確的減免
從以上實例和分析中你能學到什麼？錯誤會發生，
· 檢查你演算法中的種族， 性別， 年齡， 和其他常見的偏見內容
· 明確地分析你的軟體會如何出錯， 並對每一個可能的錯誤提供安全機制
· 準備一個沒那麼“好用“的備份產品或者服務
· 準備一個溝通計畫來通知媒體以免出現尷尬的錯誤（提示：以道歉開始）
我預測AI出錯的頻率和嚴重度會隨著AI能做更多事情而穩步上升。