編者按：最近， 禁止殺傷性機器人運動呼籲聯合國禁止研發和使用自動武器， 也就是有自主意識、有殺傷能力的人工智慧。 不過， 有觀點認為， 人類騎其實需要製造會“違抗命令”的人工智慧。 本文原題為“Why we should build AI that sometimes disobeys our commands”， 最初發表在NewScientist上。
人類與人工智慧互動的未來將會引發焦慮。 隨著人們開始推動將倫理觀念輸入到人工智慧體系中， 我們必須承認這樣一個想法：我們需要製造出可以對命令說“不”的機器。
這麼做的目的不僅僅是讓機器人不對未識別的命令的做出回應， 同時也是希望給機器人賦予這麼一樣能力——即在特定情況下， 拒絕不合適、有用的人類命令。 這一設想並不容易實現， 對於某些人來說也很難接受。
儘管人工智慧發展迅速， 我們仍然處於這一大變革的開始階段。 許多複雜的人工智慧系統還遠遠未達到能夠獨立做決定的階段， 在相當長的一段時間內，
創造出能夠彌補人類缺點、而非能毀滅人類的人工智慧越來越被認為是這項技術完美的發展方向。 但是， 關鍵在於， 這也意味著如果人工智慧具備了倫理觀念， 它不僅會拒絕人類非法或不道德的命令， 也能執行這些命令。
隨著人工智慧系統變得更加強大和普遍， 他們是否會具備倫理觀念這一問題變得突出起來。 幸運地是， 關於這一問題的研究在人工智慧領域和學術界都很豐富。 DeepMind這一由穀歌在2014年收購的倫敦人工智慧研究組是最近想要發行具備倫理觀念的機器人的研究組， 他們邀請了來自不同領域的顧問， 以幫助瞭解清楚由人工智慧在社會上究竟扮演何種角色所引起的兩難之境。
抵抗是有效的
在幾乎所有情境下， 由機器所做的決定可以追溯到由人提出的要求。 如果機器想要具備倫理觀念， 它必須有能力識別一項請求是否是合乎道德， 在某些情況下， 它必須克制自己， 不做決定。
人類並不完美。 我們已經可以看到有一些觀點認為軍用機器人相比于人類， 可以更好的決定是否摧毀一個目標。
與此類似， 軍用機器人不會參與到由憤怒或是厭惡驅使的暴行當中。 但是， 如果由人工智慧控制的機器人被命令去攻擊一個村莊呢？美國士兵受到的訓練中就有識別和拒絕非法命令。 軍用人工智慧也應當根據同樣的規則來工作。
除非人工智慧可以識別並拒絕這類決定， 否則的話， 我們不過也就是打造另一個也會存在人類固有的缺點的智慧型機器世界， 只不過在電腦客觀性的掩飾下這個世界的陰暗面並不那麼明顯。
拒絕在某些時候可能具有侵犯性， 但是具備倫理觀念的人工智慧的未來更加合理， 這意味著我們會習慣知道什麼時候說“不”的機器。
（本文由36氪編譯組授權發佈， 未經許可不得轉載。 編輯：郝鵬程）