這一天終究還是躲不過！未來學家談AI：2029年將超越人類
編者按：近日，提出了奇點概念的未來學家，現為Google工程總監的Ray Kurzweil跟《連線》雜誌主編Nicholas Thompson在美國外交關係委員會進行對話。他們談到了Kurzweil的加速回報定律的影響，奇點到來的時間、AI對人類的增強以及可能會引發的生存危機和倫理問題。
Nicholas Thompson：我們先從你對加速回報定律的解釋開始吧，這可是你協作和工作的基本理念。
Ray Kurzweil：人類基因組計畫進行到一半的時候，7年時間共收集了1%的基因。於是主流群體批評說：“我都告訴你們這是行不通的。
我只是提到了加速回報定律其中的一個潛在影響，
所有這一切即將發生改變：我們準備用3D印表機印製衣服。不是在今天；現在我們還有點處在3D列印的炒作階段。
NT：我們來談談智慧，比方說我口袋裡的手機。它數學比我好。圍棋比我厲害。很多事情都強過我。不過它什麼時候聊天也能比我厲害呢？什麼時候採訪你的會是手機而不是我？
RK：我們的確有可以進行會話的技術。你知道，我在Google的團隊做出了智能回復。我們寫了數百萬封電子郵件。它必須要理解要回復的郵件是什麼意思，哪怕提議是很簡要的。不過你的問題其實相當於圖靈測試。沒有簡單的自然語言處理技巧可以做這個。如果人類無從判斷出區別我們就認為AI相當於人類智慧，你問的其實就是這個。這是我的一個關鍵預測。我一直都只講2029年的事情。1989年，在《智慧型機器時代》中，我把實現這個的時間界定在2020年代初期到2030年代末期之間；在1999年的《精神機器時代》中，我把時間進一步明確到2029年。斯坦福的AI部門認為這個時間令人望而卻步，於是他們舉辦了一場會議，AI專家的共識是這個時間需要好幾百年。25%的人認為這永遠也不會發生。我的觀點，以及AI專家一致的中位數觀點已經變得越來越接近了，但這並不是因為我改變了看法。
2006年的時候，在Dartmouth舉辦了一場會議，名字叫做AI@50。大家的共識是50年；我當時說還要23年。我們還在Asilomar舉行了一次AI倫理會議，大家的共識是大約要20到30年，我當時說要13年。我們仍然是更加樂觀的那個，但距離已經沒那麼大了，而且有越來越多的人認為我太保守了。
加速回報定律的一個關鍵問題我沒有提到：呈指數增長的不僅只有硬體，還包括軟體。我感覺越來越有信心，對於我們距離那個里程碑已經不太遠這一點，我認為AI社區正在獲得信心。
我們即將跟那個技術，跟AI融為一體，讓我們變得更加聰明。事實上已經如此。這些設備是大腦的延伸，大家也是這麼認為的，這是個新東西。僅僅幾年前大家還沒有這麼看自己的智慧手機。它們會進入到我們的身體和大腦，但我認為這種區分是武斷的。就算它們是在我們身體和大腦之外，也已經是大腦的延伸了，而且還會讓我們更聰明更有趣。
NT：你把這個框架跟政策制定者解釋一下，告訴他們應該如何思考這一加速技術，他們應該做什麼，不應做什麼。
RK：對AI倫理、如何保證這項技術的安全的關注很多，就像當今的很多討論一樣，這方面的討論兩極分化也很嚴重。實際上有關它的希望和危險我都討論過很久了。技術永遠都是一把雙刃劍。火能讓我們暖和，幫我們把食物煮熟，也能燒毀我們的房子。相比之下這些技術要強大得多。這個問題討論起來要很久，但我認為我們應該把它分成3個階段，至少我在思考的時候是這麼樣的。首先是對有機會克服由來已久的貧困、疾病等折磨而感到高興。然後是警惕這些技術可能會具有毀滅性，甚至導致生存危機風險。最後我認為我們需要認識到對於推進這些技術要有道德緊迫感，因為儘管我們已經取得了這些進展，大家卻認為情況在變得更加糟糕，但其實情況實在變好，不過我們還有很多的人類苦難有待克服。我們在關注危機的同時，唯有繼續進步尤其是AI方面的進步才能讓我們繼續克服貧困和疾病以及環境惡化問題。
有一個好的框架可以做這件事。40年前，有一群願景家既看到了生物科技的前途也看到了它的風險，基本上他們做的事情相當於對生物進行重組讓其遠離疾病和衰老。為此他們在Asilomar（阿西洛馬）會議中心舉辦了一場會議，也就是著名的阿西洛馬會議。會議討論了道德指南和策略——即如何保證這些技術的安全。現在，40年已經過去了。我們正在受到生物科技的臨床影響。在今天這種影響還是涓涓細流，但未來10年會將會變成洪水滔天。迄今為止因為有意或無意濫用生物科技而受到傷害的人數為0。在如何處理推進方面這是一個很好的模式。
我們剛剛召開了AI倫理方面的阿西洛馬會議。很多這些道德指南，尤其是生物科技方面的道德之南，已經被編撰成法律。所以我想這就是目標。第一件要理解的事情是這個。極端主義者的想法不是“禁止這項技術”就是“得把節奏放慢。”這其實不是正確的做法。我們應該用建設性的方式去引導它。這是有策略的，但很複雜，需要另行討論。
NT：你可以想像一些規則，比方說國會可以要求從事特定技術的人必須開放資料，護著必須願意分享該資料集，並且至少對這些極其強大的工具允許市場競爭。你可以想像政府說：“其實應該要有一個大的政府資助的選項，有點像OpenAI，但是應該由政府運營。”你可以想像有一股龐大的全國性的基礎設施運動來開發這一技術，這樣至少對公共利益很在意的人能夠控制其中的一點。你的建議如何呢？
RK：我認為開來源資料和演算法總的來說是個好的想法。Google把所有的AI演算法都通過TensorFlow開源了。我認為開源和持續立法的加速回報可以讓我們越來越接近理想。問題有很多，比如隱私問題就很難處理，我認為做這一行的人通常都很關心這些問題。只是現在還不清楚正確的答案。我認為我們希望繼續推進，但當你權力如此之大時，哪怕意願是好的也會有濫用的可能。
NT：你擔心什麼？你對未來的看法是非常樂觀的。但是你擔心什麼呢？
RT：我作為一名樂觀主義者而受到指責，但是作為創業者你必須是樂觀主義者，因為如果你瞭解所有會碰到的問題的話大概就不想去做任何專案了。但我對這裡面不好的地方是很關心的，並且也一直在寫，這些問題都是跟生死存亡相關的。這些技術非常強大，所以我的確很擔心，即便我是樂觀主義者。但我對我們能夠通過這一關是樂觀的。在不會遭遇困難局面的事情上我並不樂觀。二戰期間，有5000萬人死亡，當時技術肯定加重了這個悲劇。但我認為大家意識到我們正在取得進展是很重要的。最近對26個國家的24000人進行了調查。調查問到了“全球的貧困是惡化還是好轉？”的問題。90%的人都回答說變糟了，這是不正確的。只有1%的人正確回答出貧困率已經下降了50%甚至更多。
NT：觀眾裡面的人應該如何應對自己的職業？他們即將步入一個有著全新技術的世界，這幫人應該作何職業選擇？你的建議是什麼樣的。
RK：這個建議其實是老生常談的一個建議，那就是做你所愛，因為其實沒有一個領域不會受到影響或者不是這個故事的一部分。我們即將跟雲端的模擬大腦新皮質融為一體。它將會增強我們。其實已經是這樣了。沒有我們現在手頭的這些大腦延伸的話誰還能做好自己的工作。情況還將繼續如此。大家說：“好吧，只有有錢人才能擁有那些工具。”但我要說：“是，像智慧手機這樣的全球就有30億。”再過幾年會變成60億。這是奇妙的性價比爆發的作用。所以去找到你熱愛的東西。一些人的愛好比較複雜難以歸類，所以你要想辦法在你認為可以產生影響的地方對這個世界作出貢獻。利用現有的工具。我想出加速回報定律的原因正是為了提前規劃我自己的專案好讓我能夠在它變得可行之前提前幾年做好準備——去嘗試和預測技術的發展方向。大家忘了我們是從哪兒來的。僅僅幾年前，我們還只有一點看起來像智慧手機這樣的設備，但用得不是很好。那場革命，還有移動app，5年前還幾乎沒有。也就是說，5的時間這個世界就變得很不一樣了，所以你得未雨綢繆，為火車到站做好準備。”
觀眾提問：對人性的可愛一面，對科學和探索方面已經有了太多的強調，我感到好奇的是朝著我們的機器人夥伴的動向。其中的黑暗面是什麼？關於戰爭以及機器戰爭和暴力你怎麼看？
RK：關於這些平臺如何被用來放大人類傾向以及被操控我們已經有很多瞭解了，而且有很多是我們最近才瞭解到的資訊。AI是從例子中學習的。這個領域有句格言叫做生命從第10億個例子開始，而獲得例子的最好辦法是向人類學習，所以AI經常向人學習。但不總是如此。AlphaGo Zero就是自己跟自己下學會圍棋的，但這種做法未必總是可行，尤其是當你在處理更加複雜的現實世界的問題時。目前業界，包括所有的主流公司和開源界正在進行一項重大努力，那就是對AI去偏見，因為如果AI向人學習的話，人是有偏見的，這樣一來AI也會帶有偏見，我們必須克服性別和種族偏見。這其實可以是個目標。作為人，我們從看到的所有東西中產生偏見，其中很多都是下意識的。然後作為受過良好教育的人，我們開始學習，去認識到自己的偏見並試圖克服偏見，我們自己的內心可能會發生衝突。AI去偏見已經發展成一個獨立的研究領域。這一類研究可以克服機器智慧的問題。通過這些手段，機器智慧其實可以比所效仿的人類沒那麼多的偏見。儘管社交媒體對它的看法喜憂參半糾纏不清，但總體而言AI是非常有益的東西。我在機場走路的是總能看到每個2歲以上的孩子手裡都拿著電子設備。這已經成為了一個世界社區，我認為現在正在成長的這一代人比以往任何一代人都要更強烈地感受到自己是世界公民，因為其實他們在接觸世界的各種文化。
NT：但是美國去年的氣氛卻不是跟世界走得越來越近。這種情況是人類走到一起的持續發展進程中的一個短暫性現象嗎？還是說很多人都誤解了？
RK：美國以及其他地方政治的兩級分化是不幸的。對於我們今天正在討論的那些事來說我並不認為這是個問題。我的意思是說這個世界有過重大的暫時失常。二戰就是一次相當大的中斷，但其實根本沒有影響到這些趨勢。對於特定的人和機構我們也許有不喜歡的東西。但是這是可以討論的，你可以有你的聲音和觀點。目前我還沒有看到情況朝著不好的方向發展。我們討論的這類（AI）問題其實並沒有受到這些問題的影響。但是我擔心人類的生存危機問題，因為技術是把雙刃劍。
觀眾提問：我的問題跟不平等有關。大多數人類歷史的很多階段的經濟不平等性都是相當高的。你認為這方面20世紀是否屬於反常？技術額擴散又會如何影響到這種不平等？
RK：經濟平等其實是在變好的。據世界銀行的資料，過去20年亞洲的貧困已經下降了90%。那些國家已經從原始農業經濟發展成欣欣向榮的資訊經濟。非洲和南美的增長率要比發達世界高得多。不管你從哪一個時間片段去看都會存在不平等，但情況正在飛速朝著正確的方向發展。過去20年全球的貧困已經下降了50%。而且還有很多其他的措施。大家說“數字鴻溝”，但其實沒有。互聯網、智慧手機在非洲也非常強。這只是在過去幾年才發生的變化。所以我們正在朝著正確的方向前進。任何一個時候都會有不平等的現象，會有人受苦，但數量正在朝著正確的方向發展。
觀眾問題：從你的評論看你預計通用人工智慧再過12年就將變成現實，你還好幾次提到儘管自己是樂觀的但多少對生存危機感到擔心，你能不能詳細解釋一下這究竟是什麼意思？為了降低這種風險，你認為技術專家應該做的最重要的一件事是什麼。
RK：生存危機的意思是說威脅到我們文明生存的風險。人類面臨的第一個生存危機是核擴散。我們過去曾經有過幾次摧毀整個人類的能力。現在有了這些新技術，不難設想這些技術被利用來毀滅整個人類的場景。比方說生物科技。我們已經有能力對生物進行重組讓它遠離疾病。免疫療法，這是癌症治療非常令人興奮的突破——我認為這是相當革命性的，現在才剛剛開始——免疫療法對免疫系統進行了重組，讓它跟蹤癌症，而在通常免疫系統是不會這麼幹的。但生物恐怖分子也可以利用重組技術把一種病毒變得更加致命，傳染性更強，更加隱蔽，把它製造成超級武器。這是縈繞在40年前阿西洛馬會議上的一個幽靈。後來不斷有類似的會議讓這些道德指南和安全協定和策略變得越來越複雜，迄今為止這些做法是有效的。但是我們也在讓技術變得越來越複雜，所以那些指南也要不斷修訂。我們剛剛召開了AI倫理的第一次阿西洛馬會議。我們想出了一批大家都贊同的道德標準。其中有很多是比較含糊的。對於那些我們需要賦予高優先順序著重考慮。我們發現必須給軟體植入倫理價值觀。典型的例子是無人車。做無人車的全部動機在於它可以把人類司機導致的每年200萬的死亡數減少99%，但無人車會陷入到被迫做出倫理決斷的情況：它應該駛向嬰兒車還是那對老年夫婦或者是撞牆可能導致乘客死亡？你有沒有那麼一條道德指南指出不要殺死擁有該無人車的乘客？這種情況下不能發郵件給軟體設計師問“我該怎麼辦？”吧。規則得內置到軟體裡面。所以這都是一些實際問題，圍繞著這個問題會衍生出一整個AI倫理。
但還有一個風險更高的生存危機：AI武器化，這已經不是未來的事情了。全世界的國防部都在應用AI。現在有人正在到處找人同意禁止自動化武器，這聽起來像是個不錯的主意，他們舉的例子是“我們都禁止了化學武器了，所以為什麼不取締自動AI武器呢？”不過AI的情況稍微有點複雜，因為沒有炭疽和天花我們能活下去。取締這些是沒問題的。但自動武器是軍民兩用技術。運輸冷凍食品或者藥物到非洲醫院的Amazon無人機也可以用來運送武器。它們用的是同樣的技術，這有點像已經脫韁之馬一樣。所以說這個問題更加複雜，要考慮好如何處置。但目標是保留希望控制風險。沒有簡單的演算法。我們不會有簡單的副程式可以放進AI裡面，告訴它們說“OK，把這個子程式放進去。我會讓你的AI保持良性。”智慧天生就是不受控制的。我的策略儘管不是萬無一失但也應該行得通，那就是在我們自己的人類社會踐行那些我們希望看到的倫理道德。因為未來社會不是火星的智慧型機器入侵地球。未來誕生自我們現在的文明。未來將會是我們自身的增強。所以如果我們踐行今天所珍視的這種價值觀的話，那就是未來擁有一個體現這些價值觀的世界的最佳策略。
原文連結：https://www.wired.com/story/ray-kurzweil-on-turing-tests-brain-extenders-and-ai-ethics/
（36氪編譯組出品，未經許可禁止轉載。編輯：郝鵬程。）
很多事情都強過我。不過它什麼時候聊天也能比我厲害呢？什麼時候採訪你的會是手機而不是我？RK：我們的確有可以進行會話的技術。你知道，我在Google的團隊做出了智能回復。我們寫了數百萬封電子郵件。它必須要理解要回復的郵件是什麼意思，哪怕提議是很簡要的。不過你的問題其實相當於圖靈測試。沒有簡單的自然語言處理技巧可以做這個。如果人類無從判斷出區別我們就認為AI相當於人類智慧，你問的其實就是這個。這是我的一個關鍵預測。我一直都只講2029年的事情。1989年，在《智慧型機器時代》中，我把實現這個的時間界定在2020年代初期到2030年代末期之間；在1999年的《精神機器時代》中，我把時間進一步明確到2029年。斯坦福的AI部門認為這個時間令人望而卻步，於是他們舉辦了一場會議，AI專家的共識是這個時間需要好幾百年。25%的人認為這永遠也不會發生。我的觀點，以及AI專家一致的中位數觀點已經變得越來越接近了，但這並不是因為我改變了看法。
2006年的時候，在Dartmouth舉辦了一場會議，名字叫做AI@50。大家的共識是50年；我當時說還要23年。我們還在Asilomar舉行了一次AI倫理會議，大家的共識是大約要20到30年，我當時說要13年。我們仍然是更加樂觀的那個，但距離已經沒那麼大了，而且有越來越多的人認為我太保守了。
加速回報定律的一個關鍵問題我沒有提到：呈指數增長的不僅只有硬體，還包括軟體。我感覺越來越有信心，對於我們距離那個里程碑已經不太遠這一點，我認為AI社區正在獲得信心。
我們即將跟那個技術，跟AI融為一體，讓我們變得更加聰明。事實上已經如此。這些設備是大腦的延伸，大家也是這麼認為的，這是個新東西。僅僅幾年前大家還沒有這麼看自己的智慧手機。它們會進入到我們的身體和大腦，但我認為這種區分是武斷的。就算它們是在我們身體和大腦之外，也已經是大腦的延伸了，而且還會讓我們更聰明更有趣。
NT：你把這個框架跟政策制定者解釋一下，告訴他們應該如何思考這一加速技術，他們應該做什麼，不應做什麼。
RK：對AI倫理、如何保證這項技術的安全的關注很多，就像當今的很多討論一樣，這方面的討論兩極分化也很嚴重。實際上有關它的希望和危險我都討論過很久了。技術永遠都是一把雙刃劍。火能讓我們暖和，幫我們把食物煮熟，也能燒毀我們的房子。相比之下這些技術要強大得多。這個問題討論起來要很久，但我認為我們應該把它分成3個階段，至少我在思考的時候是這麼樣的。首先是對有機會克服由來已久的貧困、疾病等折磨而感到高興。然後是警惕這些技術可能會具有毀滅性，甚至導致生存危機風險。最後我認為我們需要認識到對於推進這些技術要有道德緊迫感，因為儘管我們已經取得了這些進展，大家卻認為情況在變得更加糟糕，但其實情況實在變好，不過我們還有很多的人類苦難有待克服。我們在關注危機的同時，唯有繼續進步尤其是AI方面的進步才能讓我們繼續克服貧困和疾病以及環境惡化問題。
有一個好的框架可以做這件事。40年前，有一群願景家既看到了生物科技的前途也看到了它的風險，基本上他們做的事情相當於對生物進行重組讓其遠離疾病和衰老。為此他們在Asilomar（阿西洛馬）會議中心舉辦了一場會議，也就是著名的阿西洛馬會議。會議討論了道德指南和策略——即如何保證這些技術的安全。現在，40年已經過去了。我們正在受到生物科技的臨床影響。在今天這種影響還是涓涓細流，但未來10年會將會變成洪水滔天。迄今為止因為有意或無意濫用生物科技而受到傷害的人數為0。在如何處理推進方面這是一個很好的模式。
我們剛剛召開了AI倫理方面的阿西洛馬會議。很多這些道德指南，尤其是生物科技方面的道德之南，已經被編撰成法律。所以我想這就是目標。第一件要理解的事情是這個。極端主義者的想法不是“禁止這項技術”就是“得把節奏放慢。”這其實不是正確的做法。我們應該用建設性的方式去引導它。這是有策略的，但很複雜，需要另行討論。
NT：你可以想像一些規則，比方說國會可以要求從事特定技術的人必須開放資料，護著必須願意分享該資料集，並且至少對這些極其強大的工具允許市場競爭。你可以想像政府說：“其實應該要有一個大的政府資助的選項，有點像OpenAI，但是應該由政府運營。”你可以想像有一股龐大的全國性的基礎設施運動來開發這一技術，這樣至少對公共利益很在意的人能夠控制其中的一點。你的建議如何呢？
RK：我認為開來源資料和演算法總的來說是個好的想法。Google把所有的AI演算法都通過TensorFlow開源了。我認為開源和持續立法的加速回報可以讓我們越來越接近理想。問題有很多，比如隱私問題就很難處理，我認為做這一行的人通常都很關心這些問題。只是現在還不清楚正確的答案。我認為我們希望繼續推進，但當你權力如此之大時，哪怕意願是好的也會有濫用的可能。
NT：你擔心什麼？你對未來的看法是非常樂觀的。但是你擔心什麼呢？
RT：我作為一名樂觀主義者而受到指責，但是作為創業者你必須是樂觀主義者，因為如果你瞭解所有會碰到的問題的話大概就不想去做任何專案了。但我對這裡面不好的地方是很關心的，並且也一直在寫，這些問題都是跟生死存亡相關的。這些技術非常強大，所以我的確很擔心，即便我是樂觀主義者。但我對我們能夠通過這一關是樂觀的。在不會遭遇困難局面的事情上我並不樂觀。二戰期間，有5000萬人死亡，當時技術肯定加重了這個悲劇。但我認為大家意識到我們正在取得進展是很重要的。最近對26個國家的24000人進行了調查。調查問到了“全球的貧困是惡化還是好轉？”的問題。90%的人都回答說變糟了，這是不正確的。只有1%的人正確回答出貧困率已經下降了50%甚至更多。
NT：觀眾裡面的人應該如何應對自己的職業？他們即將步入一個有著全新技術的世界，這幫人應該作何職業選擇？你的建議是什麼樣的。
RK：這個建議其實是老生常談的一個建議，那就是做你所愛，因為其實沒有一個領域不會受到影響或者不是這個故事的一部分。我們即將跟雲端的模擬大腦新皮質融為一體。它將會增強我們。其實已經是這樣了。沒有我們現在手頭的這些大腦延伸的話誰還能做好自己的工作。情況還將繼續如此。大家說：“好吧，只有有錢人才能擁有那些工具。”但我要說：“是，像智慧手機這樣的全球就有30億。”再過幾年會變成60億。這是奇妙的性價比爆發的作用。所以去找到你熱愛的東西。一些人的愛好比較複雜難以歸類，所以你要想辦法在你認為可以產生影響的地方對這個世界作出貢獻。利用現有的工具。我想出加速回報定律的原因正是為了提前規劃我自己的專案好讓我能夠在它變得可行之前提前幾年做好準備——去嘗試和預測技術的發展方向。大家忘了我們是從哪兒來的。僅僅幾年前，我們還只有一點看起來像智慧手機這樣的設備，但用得不是很好。那場革命，還有移動app，5年前還幾乎沒有。也就是說，5的時間這個世界就變得很不一樣了，所以你得未雨綢繆，為火車到站做好準備。”
觀眾提問：對人性的可愛一面，對科學和探索方面已經有了太多的強調，我感到好奇的是朝著我們的機器人夥伴的動向。其中的黑暗面是什麼？關於戰爭以及機器戰爭和暴力你怎麼看？
RK：關於這些平臺如何被用來放大人類傾向以及被操控我們已經有很多瞭解了，而且有很多是我們最近才瞭解到的資訊。AI是從例子中學習的。這個領域有句格言叫做生命從第10億個例子開始，而獲得例子的最好辦法是向人類學習，所以AI經常向人學習。但不總是如此。AlphaGo Zero就是自己跟自己下學會圍棋的，但這種做法未必總是可行，尤其是當你在處理更加複雜的現實世界的問題時。目前業界，包括所有的主流公司和開源界正在進行一項重大努力，那就是對AI去偏見，因為如果AI向人學習的話，人是有偏見的，這樣一來AI也會帶有偏見，我們必須克服性別和種族偏見。這其實可以是個目標。作為人，我們從看到的所有東西中產生偏見，其中很多都是下意識的。然後作為受過良好教育的人，我們開始學習，去認識到自己的偏見並試圖克服偏見，我們自己的內心可能會發生衝突。AI去偏見已經發展成一個獨立的研究領域。這一類研究可以克服機器智慧的問題。通過這些手段，機器智慧其實可以比所效仿的人類沒那麼多的偏見。儘管社交媒體對它的看法喜憂參半糾纏不清，但總體而言AI是非常有益的東西。我在機場走路的是總能看到每個2歲以上的孩子手裡都拿著電子設備。這已經成為了一個世界社區，我認為現在正在成長的這一代人比以往任何一代人都要更強烈地感受到自己是世界公民，因為其實他們在接觸世界的各種文化。
NT：但是美國去年的氣氛卻不是跟世界走得越來越近。這種情況是人類走到一起的持續發展進程中的一個短暫性現象嗎？還是說很多人都誤解了？
RK：美國以及其他地方政治的兩級分化是不幸的。對於我們今天正在討論的那些事來說我並不認為這是個問題。我的意思是說這個世界有過重大的暫時失常。二戰就是一次相當大的中斷，但其實根本沒有影響到這些趨勢。對於特定的人和機構我們也許有不喜歡的東西。但是這是可以討論的，你可以有你的聲音和觀點。目前我還沒有看到情況朝著不好的方向發展。我們討論的這類（AI）問題其實並沒有受到這些問題的影響。但是我擔心人類的生存危機問題，因為技術是把雙刃劍。
觀眾提問：我的問題跟不平等有關。大多數人類歷史的很多階段的經濟不平等性都是相當高的。你認為這方面20世紀是否屬於反常？技術額擴散又會如何影響到這種不平等？
RK：經濟平等其實是在變好的。據世界銀行的資料，過去20年亞洲的貧困已經下降了90%。那些國家已經從原始農業經濟發展成欣欣向榮的資訊經濟。非洲和南美的增長率要比發達世界高得多。不管你從哪一個時間片段去看都會存在不平等，但情況正在飛速朝著正確的方向發展。過去20年全球的貧困已經下降了50%。而且還有很多其他的措施。大家說“數字鴻溝”，但其實沒有。互聯網、智慧手機在非洲也非常強。這只是在過去幾年才發生的變化。所以我們正在朝著正確的方向前進。任何一個時候都會有不平等的現象，會有人受苦，但數量正在朝著正確的方向發展。
觀眾問題：從你的評論看你預計通用人工智慧再過12年就將變成現實，你還好幾次提到儘管自己是樂觀的但多少對生存危機感到擔心，你能不能詳細解釋一下這究竟是什麼意思？為了降低這種風險，你認為技術專家應該做的最重要的一件事是什麼。
RK：生存危機的意思是說威脅到我們文明生存的風險。人類面臨的第一個生存危機是核擴散。我們過去曾經有過幾次摧毀整個人類的能力。現在有了這些新技術，不難設想這些技術被利用來毀滅整個人類的場景。比方說生物科技。我們已經有能力對生物進行重組讓它遠離疾病。免疫療法，這是癌症治療非常令人興奮的突破——我認為這是相當革命性的，現在才剛剛開始——免疫療法對免疫系統進行了重組，讓它跟蹤癌症，而在通常免疫系統是不會這麼幹的。但生物恐怖分子也可以利用重組技術把一種病毒變得更加致命，傳染性更強，更加隱蔽，把它製造成超級武器。這是縈繞在40年前阿西洛馬會議上的一個幽靈。後來不斷有類似的會議讓這些道德指南和安全協定和策略變得越來越複雜，迄今為止這些做法是有效的。但是我們也在讓技術變得越來越複雜，所以那些指南也要不斷修訂。我們剛剛召開了AI倫理的第一次阿西洛馬會議。我們想出了一批大家都贊同的道德標準。其中有很多是比較含糊的。對於那些我們需要賦予高優先順序著重考慮。我們發現必須給軟體植入倫理價值觀。典型的例子是無人車。做無人車的全部動機在於它可以把人類司機導致的每年200萬的死亡數減少99%，但無人車會陷入到被迫做出倫理決斷的情況：它應該駛向嬰兒車還是那對老年夫婦或者是撞牆可能導致乘客死亡？你有沒有那麼一條道德指南指出不要殺死擁有該無人車的乘客？這種情況下不能發郵件給軟體設計師問“我該怎麼辦？”吧。規則得內置到軟體裡面。所以這都是一些實際問題，圍繞著這個問題會衍生出一整個AI倫理。
但還有一個風險更高的生存危機：AI武器化，這已經不是未來的事情了。全世界的國防部都在應用AI。現在有人正在到處找人同意禁止自動化武器，這聽起來像是個不錯的主意，他們舉的例子是“我們都禁止了化學武器了，所以為什麼不取締自動AI武器呢？”不過AI的情況稍微有點複雜，因為沒有炭疽和天花我們能活下去。取締這些是沒問題的。但自動武器是軍民兩用技術。運輸冷凍食品或者藥物到非洲醫院的Amazon無人機也可以用來運送武器。它們用的是同樣的技術，這有點像已經脫韁之馬一樣。所以說這個問題更加複雜，要考慮好如何處置。但目標是保留希望控制風險。沒有簡單的演算法。我們不會有簡單的副程式可以放進AI裡面，告訴它們說“OK，把這個子程式放進去。我會讓你的AI保持良性。”智慧天生就是不受控制的。我的策略儘管不是萬無一失但也應該行得通，那就是在我們自己的人類社會踐行那些我們希望看到的倫理道德。因為未來社會不是火星的智慧型機器入侵地球。未來誕生自我們現在的文明。未來將會是我們自身的增強。所以如果我們踐行今天所珍視的這種價值觀的話，那就是未來擁有一個體現這些價值觀的世界的最佳策略。
原文連結：https://www.wired.com/story/ray-kurzweil-on-turing-tests-brain-extenders-and-ai-ethics/
（36氪編譯組出品，未經許可禁止轉載。編輯：郝鵬程。）