“歐米伽未來研究所”關注科技未來發展趨勢，研究人類向歐米伽點演化過程中面臨的重大機遇與挑戰。將不定期推薦和發佈世界範圍重要科技研究進展和未來趨勢研究。

《超級智能戰略研究報告》是由Dan Hendrycks（丹·亨德里克斯）、Eric Schmidt（埃裡克·施密特）和Alexandr Wang（亞歷山大·王）三位作者撰寫的一份重要戰略檔案，全面分析了人工智慧快速發展可能帶來的國家安全挑戰和戰略應對方案。

三位作者中，丹·亨德里克斯是美國人工智慧安全中心(Center for AI Safety, CAIS)的執行主任兼研究主任；埃裡克·施密特是Google(Google)的前首席執行官和董事長；亞歷山大·王是Scale AI的創始人兼首席執行官。

該報告核心論點是：隨著AI技術迅猛發展，尤其是"超級智能"（遠超人類認知能力的AI）的出現，世介面臨新的安全挑戰，需要制定全面戰略應對。報告提出了"互保AI故障"(MAIM)概念，類似核威懾中的"互相確保摧毀"原則，認為任何國家試圖單方面獲得AI主導地位的激進行為都將面臨對手的預防性破壞，這將成為一種威懾機制。

報告的戰略框架建立在三大支柱上：

1. 威懾：通過MAIM維持大國之間的戰略平衡，防止單方面AI軍備競賽
2. 防擴散：限制恐怖分子和不法行為者獲取先進AI能力，包括控制AI晶片流向和保護模型權重
3. 競爭力：各國通過AI增強經濟和軍事實力，包括建立國內AI晶片生產能力

報告強調了AI的雙重用途性質及其在生物恐怖主義和關鍵基礎設施網路攻擊等方面的潛在風險。它警告了失控風險，並呼籲各國採取務實而非宿命或否認的態度，以穩定的方式推進AI發展，從而獲取AI帶來的經濟紅利而非災難性後果。

該報告的重要性在於它將超級智能置於國家安全框架下考量，借鑑核時代經驗，為人類面對可能是自核武器以來最具變革性的技術發展提供了戰略指導。蘭德公司對《超級智能戰略研究報告》進行了深度分析。

蘭德公司：在人工智慧競爭中尋求穩定-關於《超級智能戰略研究報告》的分析

在一份重要的新報告《超級智能戰略》中，Dan Hendrycks、Eric Schmidt 和 Alexandr Wang 提出了一個大膽的願景，即美國和中國如何在開發日益強大的人工智慧 (AI) 的同時安全地競爭。作者旨在將國家安全要求、經濟競爭力和人工智慧治理綜合成一個連貫的框架，以供政府採取緊急行動。很少有專家提出管理人工智慧加速發展的全面戰略，因此本文對推動人工智慧政策辯論做出了重要貢獻。

論文中的許多建議既合理又及時。其中最具挑釁性的提議是提出一個新概念，以避免領先的人工智慧國家之間競爭導致不穩定，作者稱之為“相互保證人工智慧故障”或 MAIM，將其類比為核相互保證毀滅 (MAD)。他們認為，在 MAIM 下，“任何國家積極爭取單方面人工智慧主導地位的行為都會遭到其競爭對手的預防性破壞。”雖然比較核革命和人工智慧革命以尋找有益的相似之處和見解很有價值，但這兩種技術及其各自生態系統之間的差異具有深遠的戰略意義。考慮到這些，我們對 MAIM 概唸作為一種克服人工智慧競賽中不穩定風險的方法的實際可行性以及其核心處方可能帶來的潛在升級危險感到擔憂。

雖然比較核能革命和人工智慧革命以尋找有益的相似之處和見解很有價值，但兩種技術及其各自生態系統之間的差異具有深遠的戰略意義。

人工智慧戰略的關鍵要素

《超級智能戰略》考慮了一種越來越有可能的情況，即美國和中國正在積極競相開發超級智能 AI 的關鍵門檻——這種 AI 在幾乎所有認知任務上都比人類更有能力，而且當與高級機器人配對或“體現”時，在許多其他任務上也能勝任。（這一等級的 AI 通常被稱為“通用人工智慧”或 AGI，但這一術語抽象且誤導性十足。）許多 AI 愛好者認為（PDF），這些作者也承認這種可能性，即第一個開發出這種技術的國家將享受爆炸性的經濟增長和前所未有的軍事實力，因為 AI 會以機器速度遞迴地重新程式設計和複製自身，從而變得越來越強大。其他國家可能會被遠遠地甩在後面。這種情形下存在著真正的風險：如果雙方都將超級智能 AI 視為實現經濟和技術主導地位的關鍵，並且認為如果超級智能 AI 落入對手手中（無論是出於主動的敵對意圖，還是對手失去對 AI 的控制），那麼雙方可能都會面臨生存威脅，那麼雙方越接近實現這一目標，相互敵對和侵略的危險就會越大。

亨德里克斯、施密特和王提出了一個由三部分組成的策略來應對這種情況。其中兩個支柱非常有說服力。他們提出了一項人工智慧不擴散政策——通過限制非國家行為者獲取尖端人工智慧晶片和前沿模型權重的政策和硬體支援機制來限制人工智慧擴散的各種風險。考慮到擁有超強人工智慧存取權的小團體可能造成的損害，這樣的議程——儘管在實踐中極具挑戰性（尤其是隨著任何使用者都可以使用的開放式人工智慧模型的興起）——是一個重要的優先事項。

其戰略的第二個組成部分是“有管理的競爭”，該戰略主張並尋求確保美國繼續在人工智慧開發和傳播方面引領世界。我們同意並強調，在人工智慧時代競爭不僅僅涉及建構技術堆疊，還涉及塑造一個能夠有效實施超級智能人工智慧並管理其顛覆性影響的社會。

這份報告提出的許多建議都與這兩條戰略路線有關——計算安全、出口管制、資訊安全、人工智慧保障、投資人工智慧優勢的經濟基礎——這些都應該成為任何前瞻性的美國人工智慧戰略的一部分。然而，擬議戰略的第三條腿——如何阻止各州不顧一切地追求先進的人工智慧壟斷——卻引發了嚴重的問題。

亨德里克、施密特和王描述了這樣一種國際秩序：如果競爭對手衝向 AGI 壟斷，就會威脅要削弱其人工智慧發展，從而阻止任何人尋求這種技術主導地位：

“一個國家可以嘗試通過各種干預手段來破壞這樣的人工智慧項目，從降低訓練運行效率的秘密行動到使人工智慧基礎設施癱瘓的物理破壞。因此，我們已經接近一種類似於核相互保證毀滅 (MAD) 的動態，其中沒有一個大國敢於直接爭奪戰略壟斷，因為任何此類努力都會招致不利的反應。這種戰略條件，我們稱之為相互保證人工智慧故障 (MAIM)，代表了一種潛在的穩定威懾機制，但維持它可能需要謹慎。”

正如他們在報告後面所說，“如果競爭對手競相實現戰略壟斷，各國不會袖手旁觀……各國將採取行動，阻止具有威脅性的人工智慧項目，而不是坐等競爭對手利用超級智能武器對付自己。”

這是一個發人深省的想法。但我們認為它在兩個方面存在嚴重問題。首先，它在實踐中似乎不是一種可行的威懾手段。其次，通過創造強大的先發制人動機，阻止對手追求先進人工智慧的能力將加劇而不是抑制人工智慧競賽的不穩定性。

MAIM 概念依賴於幾個樂觀的假設，這些假設支撐了所謂的“破壞對手的 AI 程序相對容易”。由於各種原因，許多提議的“致殘”技術將極難有效實施。這裡我們只強調其中三個。

首先，該報告大致提到了各國可能採取的一系列行動，以削弱競爭對手開發先進人工智慧的架構。這些行動包括網路攻擊和其他定義不太明確的破壞形式，以及使用高超音速導彈對資料中心和其他支援人工智慧的設施進行動能攻擊。這假設對手的人工智慧程序將擁有易於定位和破壞的特定設施。然而，分佈式雲端運算、分散式訓練和演算法開發可能越來越不需要集中的物理位置，這使得人工智慧系統更能抵禦有限的攻擊，此外也使對手的人工智慧開發更難監控。此外，隨著領先的人工智慧強國越來越接近超級智能，他們可能會努力加強其人工智慧實驗室、資料中心和發電基礎設施，以抵禦網路破壞和物理破壞，並越來越多地在其系統中建立冗餘。而且，如果任何一方必須從虛擬破壞升級為直接攻擊（正如 MAIM 所預測的那樣），那麼除非使用核武器，否則全面攻擊以摧毀對方本土的資料中心、發電廠和人工智慧實驗室對於今天的美國或中國軍隊來說根本不是一個現實的選擇。

第二個實際挑戰在於，各方都應精準評估對方在人工智慧方面的秘密進展，並判斷何時需要採取預防行動。與報告中所斷言的相反，各國不太可能清楚地知道何時是打擊對手的時機。這一概念指的是“任何國家積極爭取單方面人工智慧主導地位”的觸發點，但“積極”和“主導地位”這兩個詞含糊不清，目前還不清楚這兩個詞是否能被精準定義，以出現在一份建議對另一個國家的本土進行大規模預防性攻擊的規劃檔案中。最近的發展和大國競爭的歷史都表明，要知道對手技術發展的確切狀態是極其困難的，即使是核武器開發等涉及獨特基礎設施、易於理解的科學和相對明確的發展門檻的技術。

大部分困難在於冷戰和當代核威懾與 MAIM 概念之間的基本區別。MAD 並非尋求阻止武器的發展，而是阻止武器的使用，這使得響應門檻大大簡化（儘管在虛假或模糊的攻擊警告等情況下仍可能存在問題）。沒有同樣清晰和明顯的界限來證明 MAIM 打擊是一種防禦措施。例如，從中國的角度來看，考慮到美國公開的人工智慧戰略、高級官員的聲明、私營部門對人工智慧實驗室的大量資助、CHIPS 法案、出口管制以及政府支援的新“星際之門”項目，人們可以提出一個令人信服的案例，即美國已經在儘可能快地走向超級智能壟斷。然而，我們很少聽到即使是最樂觀的美國人工智慧進展觀察家預測中國會先發制人，甚至會針對實驗室發動大規模網路攻擊。儘管人們越來越擔心中國在人工智慧領域的進步正在加速，但我們也沒有聽到美國方面有這樣的想法。

第三點也是最後一點，即使是可信的 MAIM 威脅也可能無法阻止競爭對手追求超級智能 AI。停止 AI 開發的成本與遭受 MAIM 攻擊的成本基本相同——失去整個項目。過去相當有效的武器禁令制度（如《不擴散條約》和《生物武器公約》）的力量來自於對違反條約的行為進行明確或隱含的威脅，即受到更廣泛的經濟、政治或軍事懲罰，而不僅僅是銷毀被禁止的技術投資。

一個接近超級智能的國家除了屈服之外，還有很多選擇來挫敗或避免 MAIM 威脅。它可以採取行動隱藏其研究成果、威脅對任何攻擊做出相應回應、爭取全球支援等等。它還可以決定加速而不是暫停其人工智慧研究，因為考慮到其對手明顯的敵對和壓制意圖，實現真正安全的唯一途徑就是先發制人。

超級人工智慧將成為人類歷史上最強大的通用技術。它有望改變社會、經濟和軍隊。很難相信一個大國會因為野心勃勃想要稱霸全球或害怕成為他人決定性技術優勢的犧牲品而允許其人工智慧發展受到如此有限的威脅的阻礙。

超級人工智慧將成為人類歷史上最強大的通用技術。它有望改變社會、經濟和軍隊。

MAIM 缺乏 MADness 的問題

除了對 MAIM 概念可行性的擔憂之外，更嚴重的問題在於其戰略邏輯。儘管 MAIM 的出發點是好的，但它卻加劇了它想要解決的一些穩定性問題。

儘管作者經常將 MAIM 描述為一種新興現實——類似於羅伯特·傑維斯的格言“MAD 是事實，而不是政策” ——但他們似乎建議美國將其作為確保人工智慧發展的途徑。但積極支援 MAIM 意味著美國願意在必要時發動戰爭，以阻止中國獲得具有深遠社會和人類利益的通用技術。通過發出威脅，美國將鼓勵中國將其最先進的人工智慧開發推向地下（無論是字面上還是比喻上），從而減少美國情報部門對它的潛在洞察。其他國家可能不會接受這種赤裸裸的單邊和脅迫性做法——尤其是如果中國向世界提供其人工智慧的開源版本。

更令人擔憂的是，一旦雙方都面臨人工智慧的脆弱性，危機和戰爭的風險不但不會降低，反而會上升。正如上文所述，很難知道對手在開發先進人工智慧時何時會迎來關鍵的危險時刻，因此類似 MAIM 的平衡可能會非常不穩定，雙方都會不斷誤讀訊號、調整響應紅線，並努力“估計”正確的閾值。雙方都會以近乎偏執的程度審視對方的人工智慧發展，誤解的可能性非常大。激烈爭論的技術（以及演算法不透明的）對人工智慧進步的解讀可能會使局勢高度升級。結果可能是人工智慧恐怖的一觸即發的平衡。

這種不穩定性會因為一個接近遞迴人工智慧門檻的國家可能認為它可以抵消對方的攻擊，從而消除 MAIM 的相互性而加劇。結果將是雙方（或更多）都傾向於向前，害怕等待太久才採取行動。如果要避免對手的超級智能飛躍，規避風險的國家安全機構將謹慎地避免在關鍵時刻依賴完美的情報。他們很可能會要求採取危險的先發制人行動。

對先進人工智慧基礎設施的選擇性打擊也可能被解讀為對目標國家國家安全進行更廣泛攻擊的開端。人工智慧基礎設施可能與經濟和軍事實力緊密相關，因此對人工智慧資料中心（更不用說電網）的打擊可能被視為明顯的戰爭行為，從而引發迅速升級。區分針對其資料中心的導彈（或其他）攻擊與更普遍的攻擊將是困難的，甚至是不可能的。

MAIM 戰略邏輯存在的問題之一在於，它沒有反映出核威懾在冷戰中是如何發揮作用的。該論文將 MAIM 描述為類似於 MAD，即“任何國家對單方面人工智慧主導地位的積極追求都會遭到競爭對手的預防性破壞”。但 MAD 的運作方式並非如此。MAD 過去（現在也是）與此相反：雙方都無法實施有效和全面的預防性破壞或打擊。這就是關鍵所在；沒有人能夠先發制人並避免遭到毀滅性打擊——數十年的軍備控制努力最終試圖強化這種狀況。

MAD 出現後，雙方關係也並非穩定。美國和蘇聯都接受了確保毀滅，但並不認同雙方的相互承諾——他們經常試圖利用具有先發制人能力的核系統、核戰爭理論和“損害限制”來擺脫 MAD 的限制，並一直擔心對方可能會成功。這項技術的性質及其巨大的破壞力使他們無法克服 MAD，但這並不是因為他們缺乏嘗試。有充分的理由認為，“人工智慧恐怖平衡”將迅速產生一系列步驟來重新奪回優勢。

還值得注意的是，亨德里克、施密特和王描述的 MAIM 世界與私營部門推動的人工智慧發展的當前現實完全不一致。在一個人工智慧進步對本國生存構成威脅的世界裡，各國肯定會發現，允許私營部門參與者採取可能引發戰爭的措施是站不住腳的。政府對人工智慧研究和開發的控制似乎是目前唯一可行的答案。

在人工智慧進步對本國生存構成威脅的世界中，各國肯定不會允許私營部門行為者採取可能引發戰爭的舉措。

結論

《超級智能戰略》提醒我們，有必要制定更連貫、更全面的人工智慧戰略。此外，它還發揮了有益的催化作用，提出了許多有趣的問題供人們探討。

還有很多事情需要瞭解，如果引用艾薩克·阿西莫夫的話，我們希望確保科學獲取知識的速度不會快於我們集體獲得智慧的速度，那麼促進超級智能之路穩定的完整議程需要進行更多研究。然而，即使是現在，我們相信，在威懾威脅攻擊人工智慧基礎設施之前，仍有可能確定幾個重要的步驟，這些步驟可能會有所幫助。

例如，美國可以提議就人工智慧發展道路上的地緣政治穩定問題開展多邊對話，目標是確定明確的風險點並達成共同的克制承諾。它可以建議兩軍之間就超級智能帶來的破壞軍事穩定的技術以及減少其影響的措施進行對話。根據亨德里克、施密特和王的建議，美國可以提議人工智慧領導人（必然包括私營企業）在控制擴散方面開展合作，以維護共同利益。最後，也是最重要的一點，美國可以宣佈其打算拒絕某些日益強大的人工智慧的具體應用——例如干涉其他國家的核指揮和控制——以保證超級智能的潛在影響，儘管期望中國在短期內對美國的意圖感到普遍放心是天真的。

《超級智能戰略》明確指出的一件事是，在邁向強大人工智慧的道路上，大國之間需要一個戰略概念來管理穩定。各國試圖對競爭對手的人工智慧發展採取預防行動的威脅值得嚴重關注。然而，人們真正關心的是，以先發制人為中心的威懾理論是否會加劇而不是減少不穩定性，這一概念是否切實可行，以及與冷戰時期的 MAD 等概念的類比是否薄弱。因此，MAIM 可能不是正確的答案——但美國和中國將需要更多這樣的意願來探索大膽和新的想法，並盡快管理這一危險的過渡。 (歐米伽未來研究所2025)