意控科技or人工智慧

意控科技必將是未來和人工智慧（真）並駕齊驅的一門生物黑科技。

看過電影《阿凡達》的人一定不會忘記影片中這樣一個橋段：在潘朵拉星上， 下身癱瘓的前海軍戰士傑克·薩利躺在密封艙中， 通過頭上戴著的複雜設備， 利用意念操控人造的混血阿凡達。

這些過去停留在科幻片中的意淫， 現在已然出現在現實生活中！

意控， 即利用“意念”操控物體。 假想一下， 如果有一天， 你不止能通過意念控制你家裡的燈，

還能通過意念去調控燈光的顏色；如果有一天， 你的孩子不再是玩手柄的遙控汽車， 而是用意念去操控飛機模型；如果有一天， 我們只需要意念一動， 我們身邊的機器人就會給我們遞來酒水… …一切都是那麼的美妙… …還有一絲絲可怕！

什麼是人工智慧？

從SIRI到自動駕駛汽車， 人工智慧（AI）正在迅速地發展。 雖然科幻小說經常將人工智慧描繪成具有類人特性的機器人， 但人工智慧可以涵蓋從穀歌（Google）的搜索演算法， IBM沃森 (人工智慧程式)， 到自動武器的任何科技。

當今的人工智慧被正確地稱為窄AI（或弱AI）， 因為它被設計來執行的任務範圍狹窄（例如， 僅執行面部識別， 或只進行互聯網搜索， 或僅駕駛汽車）。

然而， 許多研究人員的長期目標是創建普適AI（AGI或強AI）。 雖然窄AI能在其特定的任務上超越人類， 如下棋或解方程， AGI將在幾乎所有認知任務上超越人類。

為何研究人工智慧的安全性？

在短期內， 保障AI對社會有益的科研範疇可涵蓋諸多領域如經濟學和法學， 以及驗證法、有效性計算、安全性和控制論等技術層面課題。 如果安全保障僅限於防止你的筆記型電腦宕機或被駭客入侵， 就算出了問題也只是給你添點小麻煩。 倘若AI系統能夠控制汽車、飛機、心臟起搏器、自動交易系統或電網， 我們必須保證該系統完全遵照我們的指令， 否則後果將不可設想。 另一個短期挑戰是如何防止自主武器的毀滅性軍備競賽。

從長遠來看， 一個重要的問題是，

如果我們成功創造了能在所有認知功能上超過人類的強AI， 將會發生些什麼。 正如約翰·古德（Irving John Good）在1965年所說的， 設計更有智慧的AI系統本身就是一個認知任務。 這樣的系統有潛力執行遞迴式的自我完善， 觸發智慧爆炸， 並遠遠地超越人類智力。 通過發明革命性的新技術， 這樣的超級智慧可以幫助我們消除戰爭， 疾病和貧困。 因此， 創造強AI可能是人類歷史上最重大的事件。 然而， 一些專家表示擔心， 人類的歷史也會隨著此類的超強大AI的誕生戛然而止， 除非我們學會在AI成為超級智慧之前將使其與我們同心所向。

有些人質疑強AI是否會實現， 也有些人堅信創建超智慧AI對人類必定是有益的。 FLI承認這兩種情形皆有可能， 但我們更意識到人工智慧系統具有有意或無意造成巨大危害的潛力。 我們相信今日的研究意在防患於未然， 使得未來人們受益於AI的同時， 規避潛在風險隱患。

人工智慧如何可能製造危險？

大多數研究人員同意， 一個超智慧AI不可能產生人類的情感， 如愛或恨。他們也認為人們沒有理由期望AI有意識地趨善向惡。當考慮AI如何成為風險時，專家認為有兩種情況最有可能發生：

AI被設計執行毀滅性任務：自驅動武器（autonomous weapon）是為殺戮而生的人工智慧系統。若落入惡人手中，這些武器很容易便可造成大量傷亡。此外，AI軍備競賽也可能無意中引發AI戰爭，導致大量傷亡。為了避免被敵對勢力從中阻撓，這些武器的“關閉”程式將被設計得極為複雜，但人們也可能對這種情況失去控制。這種風險雖然也存在於窄AI（narrow AI）中，但隨著AI智慧和自驅動水準的提高，風險也會跟著增長。

AI被開發進行有益的任務，但它執行的過程可能是破壞性的：這可能發生在當我們尚未完成人類和AI目標的全方位對映（fully align），而這並非易事。試想，如果你召喚一輛智慧車將你以最快速度送到機場，它可能不顧一切地嚴格遵從你的指令，即使以你並不希望的方式——你可能因超速而被直升機追逐或嘔吐不止。如果一個超智慧系統的任務是一個雄心勃勃的地球工程項目，副效果可能是生態系統的破壞，並把人類試圖阻止它的行為視為一個必須解除的威脅。

以這些例子來看，我們對高級AI的擔憂並非在於其可能產生惡意，而是它可能達到的能力。超智慧AI將非常善於完成其目標，如果這些目標不與我們的目標形成一致，我們麻煩就大了。正比如，你可能並非對螞蟻深惡痛絕，也沒有踩死螞蟻的惡意，但如果你負責水電綠色能源專案，而專案開發的所在地區有一個蟻丘會因為大水而被淹沒，那只能說是算螞蟻倒楣罷了。人工智慧安全研究的一個關鍵目的就是要避免將人類置於和這些螞蟻同樣的位置。

如愛或恨。他們也認為人們沒有理由期望AI有意識地趨善向惡。當考慮AI如何成為風險時，專家認為有兩種情況最有可能發生：

AI被設計執行毀滅性任務：自驅動武器（autonomous weapon）是為殺戮而生的人工智慧系統。若落入惡人手中，這些武器很容易便可造成大量傷亡。此外，AI軍備競賽也可能無意中引發AI戰爭，導致大量傷亡。為了避免被敵對勢力從中阻撓，這些武器的“關閉”程式將被設計得極為複雜，但人們也可能對這種情況失去控制。這種風險雖然也存在於窄AI（narrow AI）中，但隨著AI智慧和自驅動水準的提高，風險也會跟著增長。

AI被開發進行有益的任務，但它執行的過程可能是破壞性的：這可能發生在當我們尚未完成人類和AI目標的全方位對映（fully align），而這並非易事。試想，如果你召喚一輛智慧車將你以最快速度送到機場，它可能不顧一切地嚴格遵從你的指令，即使以你並不希望的方式——你可能因超速而被直升機追逐或嘔吐不止。如果一個超智慧系統的任務是一個雄心勃勃的地球工程項目，副效果可能是生態系統的破壞，並把人類試圖阻止它的行為視為一個必須解除的威脅。

以這些例子來看，我們對高級AI的擔憂並非在於其可能產生惡意，而是它可能達到的能力。超智慧AI將非常善於完成其目標，如果這些目標不與我們的目標形成一致，我們麻煩就大了。正比如，你可能並非對螞蟻深惡痛絕，也沒有踩死螞蟻的惡意，但如果你負責水電綠色能源專案，而專案開發的所在地區有一個蟻丘會因為大水而被淹沒，那只能說是算螞蟻倒楣罷了。人工智慧安全研究的一個關鍵目的就是要避免將人類置於和這些螞蟻同樣的位置。