《人類兼容：人工智能與控制問題》

作者 | Stuart Russell

編譯 | CDA數據分析師

原文 | Full Page Reload

人工智能研究正在朝著人類或超人類智能機器的長期目標邁進。但是，如果它以目前的形式成功，那將很可能給人類帶來災難性的后果。原因是AI的“標準模型”要求機器遵循人類指定的固定目標。我們無法完全正確地指定目標，也無法預測或防止追求錯誤目標的機器在具有超人能力的全球規模上運行時所造成的危害。我們已經看到了諸如社交媒體算法之類的示例，這些示例學會了通過操縱人類的偏好來優化點擊率，從而給民主制度帶來災難性的后果。

尼克·博斯特倫（Nick Bostrom）在2014年出版的《超級情報：道路，危險，策略》 一書中詳細介紹了認真對待這一風險的案例。在大多數人認為英國輕描淡寫的經典例子中，《經濟學人》雜志對博斯特羅姆的書進行了評論，其結尾是：“將第二種智能物種引入地球的意義深遠，值得深思?！背鲇诔壷悄軐嶓w已經考慮過這種可能性 并采取措施阻止這種可能性的簡單原因，無法關閉機器 。

當然，在這么多的事情發生的今天，當今的偉大思想家已經在做這個艱難的思考-進行認真的辯論，權衡風險和收益，尋求解決方案，找出解決方案中的漏洞，等等。據我所知，還沒有。取而代之的是，人們付出了很大的努力進行各種形式的否認。

一些著名的AI研究人員訴諸了幾乎不值得反駁的論點。以下是我在文章中閱讀或在會議上聽過的數十篇文章中的一部分：

• 電子計算器在算術上是超人的。計算器并沒有接管整個世界。因此，沒有理由擔心超人AI。
• 從歷史上看，有零例機器殺死了數百萬人，因此，通過歸納法，它不可能在未來發生。
• 宇宙中沒有任何物理量是無限的，其中包括智力，因此對超智能的擔憂被夸大了。

也許在AI研究人員中，最常見的回答是說“我們總是可以將其關閉?！?Alan Turing自己提出了這種可能性，盡管他對此并不抱太大信心：

如果機器可以思考，它可能會比我們更聰明地思考，那么我們應該在哪里呢？即使我們可以例如通過在關鍵時刻關閉電源來將機器保持在從動的位置，作為一個物種，我們也應該感到非常謙卑?！@種新的危險……當然可以使我們焦慮。

出于超級智能實體已經考慮過這種可能性并采取措施阻止這種可能性的簡單原因，無法關閉機器。這樣做不是因為它“想活著”，而是因為它正在追求我們給它的任何目標，并且知道關閉它會失敗。我們僅通過將石頭放在正確的方塊上就可以擊敗AlphaGo（世界冠軍的Go播放程序），這是再也不能“關閉”了。

其他拒絕形式也吸引了更復雜的想法，例如，智力是多方面的。例如，一個人可能比另一個人具有更多的空間智能，而社會智能卻較少，因此我們不能按照嚴格的智力順序排列所有人。對于機器來說更是如此：將AlphaGo的“智能”與Google搜索引擎的“智能”進行比較是毫無意義的。

《連線》雜志的創始編輯，技術敏銳的評論員凱文·凱利將這一論點再進一步了。他在“ 超人AI的神話”一書中寫道：“智能不是一個單一的維度，因此“比人類聰明”是毫無意義的概念?！币豢跉饩拖藢Τ悄艿乃嘘P注。

現在，一個明顯的反應是，機器在智能的所有相關方面都可能超出人類的能力。在那種情況下，即使按照凱利的嚴格標準，這臺機器也比人類更智能。但是，這種強有力的假設并不一定要反駁凱利的論點?？梢钥匆豢春谛尚?。黑猩猩可能具有比人類更好的短期記憶能力，即使在以人為導向的任務（如回想數字序列）上也是如此。短期記憶是智力的重要方面。按照凱利的說法，人類并不比黑猩猩聰明。實際上，他會宣稱“比黑猩猩更聰明”是沒有意義的概念。這對黑猩猩和其他幸存下來的物種來說是冷的安慰，它們只是因為我們愿意允許這樣做，而對于所有我們已經消滅的物種而言。對于可能擔心被機器擦掉的人來說，這也是一種冰冷的安慰。

也可以通過爭論無法實現超級智能來消除超級智能的風險。這些說法并不新鮮，但是現在令人驚訝的是，看到AI研究人員自己聲稱這種AI是不可能的。例如，來自AI100組織的一份主要報告“ 2030年的人工智能與生命 [PDF]”包括以下主張：“與電影不同，沒有超人機器人在眼前出現種族競賽，甚至可能沒有?！?/span>

據我所知，這是嚴肅的AI研究人員首次公開信奉人類或超人AI是不可能的觀點，而這是在AI研究飛速發展的階段，當障礙不斷違反。好像一群領先的癌癥生物學家宣布他們一直在欺騙我們：他們一直都知道永遠不會治愈癌癥。

是什么原因促成這樣的面孔？該報告不提供任何論據或證據。（實際上，有什么證據可以證明，在物理上沒有可能存在的原子排列優于人類的大腦？）我懷疑主要原因是部族主義-本能使貨車繞過AI的“攻擊”。然而，將超級智能AI可能作為對AI的攻擊這一說法似乎很奇怪，甚至說AI永遠不會成功實現其目標，捍衛AI則顯得更為奇怪。我們不能僅僅依靠人類的創造力來確保未來的災難。

如果不是不是絕對不可能的超人AI，那么擔心就太遙遠了嗎？這是吳安德（Andrew Ng）斷言的要旨，即擔心“火星上的人口過多 ”。不幸的是，長期風險仍然可能立即引起人們的關注。擔心人類潛在的嚴重問題的合適時間不僅取決于問題何時發生，還取決于準備和實施解決方案需要多長時間。例如，如果我們要在2069年檢測到正在與地球碰撞的大型小行星，我們是否要等到2068年才開始研究解決方案？離得很遠！將有一個全球緊急項目來開發應對威脅的方法，因為我們無法提前說出需要多少時間。

Ng的論點也吸引了人們的直覺，即我們極不可能首先嘗試將數十億人類移居火星。但是，這個比喻是錯誤的。我們已經在投入大量的科學和技術資源來創建功能更強大的AI系統，而很少考慮如果成功了會發生什么。因此，更恰當的類比是將人類遷移到火星的計劃，而不考慮到達后我們可能會呼吸，喝水或吃些什么。有些人可能將此計劃稱為不明智的。

避免潛在問題的另一種方法是斷言對風險的擔憂是由無知引起的。例如，以下是艾倫（Allen）AI學院的首席執行官Oren Etzioni，指責埃隆·馬斯克（Elon Musk）和斯蒂芬·霍金（Stephen Hawking）涉嫌Luddism，因為他們呼吁人們認識到AI可能構成的威脅：

在每一項技術創新的興起中，人們都感到恐懼。從織布工在工業時代開始時在機械織機中扔鞋到今天對殺手機器人的恐懼，我們的反應是不知道新技術將對我們的自我意識和生計產生什么影響。而當我們不知道時，我們恐懼的思想充斥著細節。

即使我們以表面價值來接受這種經典的ad hominem論點，也無法成立?；艚饘茖W推理并不陌生，馬斯克監督并投資了許多人工智能研究項目。認為比爾·蓋茨，IJ·古德，馬文·明斯基，艾倫·圖靈和諾伯特·維納，都引起了人們的關注，沒有資格討論人工智能，這似乎更沒有道理。對Luddism的指控也完全是錯誤的。當他們指出控制裂變反應的必要性時，就好像是要指責核工程師。該指控的另一種說法是聲稱提及風險意味著否認人工智能的潛在利益。例如，Oren Etzioni曾提出：

厄運和悲觀的預測通常無法考慮AI在預防醫療錯誤，減少交通事故等方面的潛在優勢。

而這里是馬克·扎克伯格的Facebook的CEO，在與伊隆·馬斯克最近的媒體推波助瀾交流：

如果您在反對AI，那么您在爭論不會發生事故的更安全的汽車。而且您正在爭論不能在人們生病時更好地對其進行診斷。

有人提到風險是“反對AI”的說法似乎很奇怪。（核安全工程師“反對電力”嗎？）但更重要的是，整個論點恰恰是倒退的，原因有兩個。首先，如果沒有潛在的利益，就不會有推動人工智能研究的動力，也不會有實現人類水平的人工智能的危險。我們根本不會進行任何討論。其次，如果不能成功地減輕風險，將沒有任何好處。

由于1979年三英里島，1986年切爾諾貝利和2011年福島島的災難性事件，核電的潛在利益已大大降低。這些災難嚴重限制了核工業的發展。意大利在1990年放棄了核電，比利時，德國，西班牙和瑞士已經宣布了這樣做的計劃。從1991年到2010年，每年的凈新增產能大約是切爾諾貝利之前的那一年的十分之一。

奇怪的是，鑒于這些事件，著名的認知科學家史蒂芬·平克（Steven Pinker）認為 [PDF]不宜引起人們對AI風險的關注，因為“先進社會的安全文化”將確保AI的所有嚴重風險都將被淘汰。即使我們無視我們先進的安全文化導致切爾諾貝利，福島和全球變暖失控的事實，平克的論點也完全沒有意義。安全文化（在可行時）正好由人們指出可能的故障模式并尋找預防方法來組成。對于AI，標準模型是故障模式。

Pinker還指出，有問題的AI行為是由提出特定類型的目標引起的。如果排除這些，一切都會好起來的：

AI反烏托邦將狹par的阿爾法男性心理投射到智力的概念上。他們認為超人類智能機器人會制定出一些目標，例如拋棄主人或接管世界。

深度學習的先驅，Facebook的AI研究總監Yann LeCun 在淡化AI的風險時經常引用相同的想法：

認可機構沒有理由具有自我保護的本能，嫉妒等?！俏覀儗⑦@些情感融入其中，否則認可機構將不會具有這些破壞性的“情感”。

不幸的是，無論我們建立在“情感”還是“欲望”中，例如自我保護，資源獲取，知識發現，或者在極端情況下占領世界，都沒有關系。無論如何，機器都會產生這些情感，就像我們建立的任何目標的子目標一樣，而不論其性別如何。正如我們在“只需要關閉電源”的說法中所看到的那樣，對于一臺機器而言，死亡本身并不壞。盡管如此，還是要避免死亡，因為如果你死了，就很難實現目標。

“避免設定目標”概念的一個常見變體是這樣一個概念，即一個足夠智能的系統由于其智能必定會自行制定“正確的”目標。18世紀的哲學家戴維·休David（David Hume）在《人性論》中駁斥了這一思想。尼克·博斯特羅姆，在超級智能，提出了休謨的作為位置的正交性論文：

智力和最終目標是正交的：原則上，任何水平的智力或多或少都可以與任何最終目標結合。

例如，可以為自動駕駛汽車指定任何特定地址作為目的地；例如，使汽車成為更好的駕駛者并不意味著它將自發地開始拒絕去被17整除的地址。出于同樣的原因，不難想象可以為通用智能系統提供或多或少的追求目標，包括最大化回形針的數量或pi的已知數字的數量。這就是強化學習系統和其他種類的獎勵優化器的工作方式：算法完全通用，可以接受任何獎勵信號。對于在標準模型內運行的工程師和計算機科學家而言，正交性理論只是一個定論。

對Bostrom正交性論的最明確的批評來自著名的機器人學家Rodney Brooks，他斷言，程序“足夠聰明以至于無法發明出顛覆人類社會以實現人類為其設定的目標的方法，卻不了解它對那些相同的人造成問題的方式?！蹦切┱J為風險可以忽略不計的人未能解釋為什么超智能AI必然會受到人類控制。

不幸的是，程序不僅可能表現出這樣的行為；實際上，考慮到布魯克斯定義問題的方式，這是不可避免的。Brooks認為，機器“達到人類設定的目標”的最佳計劃正在給人類帶來麻煩。由此可見，這些問題反映了對人類有價值的事物，而人類為之設定的目標卻忽略了這些問題。機器執行的最佳計劃很可能會給人類帶來麻煩，并且機器可能會意識到這一點。但是，按照定義，機器不會將這些問題視為有問題的。它們與它無關。

總而言之，“懷疑論者”（那些認為來自AI的風險可以忽略不計的人）未能解釋為什么超級智能AI系統必定會受到人類控制。他們甚至都沒有試圖解釋為什么永遠不會開發超智能AI系統。

AI社區必須繼續承擔風險并努力減輕風險，而不是繼續淪落為部落的名字召喚和不法論據的反復發掘。就我們所了解的風險而言，這些風險既非微不足道，也非不可克服。第一步是認識到必須替換標準模型（優化固定目標的AI系統）。這簡直是糟糕的工程。我們需要做大量的工作來重塑和重建AI的基礎。

關于作者

計算機科學家Stuart Russell在加利福尼亞大學伯克利分校創立并指導了人類兼容人工智能中心。本月，Viking Press將出版Russell的新書《人類兼容：人工智能與控制問題》，本文以此為依據。他還積極參與反對自動武器的運動，并策動制作了備受矚目的2017年視頻《屠殺機器人》。