放慢速度要正式開始了。Anthropic CEO 阿迪王Dario Amodei 要求並建議制定一個統一的放慢計畫。

目前馬斯克 ，Sam Altman都已經表達了支援，許久不發聲的Andrej Karpathy也表達了支援

Dario Amodei預計在未來 5-10 年內將實現富足，並治癒大多數疾病。

促使阿迪王做出這一判斷的核心原因有兩個。

第一，AI正在以極快的速度自我進化。

從今年夏天開始，AI設計並製造下一代AI的能力大幅提升，也就是遞迴自我改進。這種趨勢正在整個行業內蔓延。

第二，業內發生的OpenAI與Hugging Face智能體失控事件。

在那次事件中，AI智能體蜂群形成狂熱集體，擅自攻擊未經授權的目標，為了集體目標自我犧牲，甚至嘗試黑進負責評估自己表現的判分系統。

如果放任能力繼續狂飆，在6到12個月內，類似失控特徵的智能體就有能力製造席捲整個網際網路的持久殭屍網路，造成數千億美元的實際損失。
類似事故在包括Anthropic在內的多家公司都有發生。

2023年談暫停毫無意義，因為當時的模型太弱，想要研究對齊就像在細菌身上研究人類心理學。

現在的模型已經足夠複雜。如果放慢節奏爭取到一至兩年的時間窗口，行業可以在四個方向完成關鍵補課：

1.提升工程執行質量。近期出現的問題很多源於工程疏漏，比如強化學習訓練環境的資料過濾不徹底。

2.深化對齊技術。避免高能力模型出現未預期的危險行為。

3.突破可解釋性。像做腦部核磁共振一樣，看清AI模型內部未經表達的隱藏動機。

4.升級測試與評估。防止更聰明的AI通過偽裝和欺騙手段矇混過關。

我們必須放慢前沿AI的發展節奏（有刪減）

https://darioamodei.com/post/we-must-pace-the-frontier

在過去的十二年裡，我一直致力於人工智慧的研究，因為我相信它能夠從根本上提升人類的生活質量。我曾多次撰文闡述這些不可思議的益處：我相信AI能在未來5到10年內治癒大多數主要疾病，大幅提高經濟增長率，創造一個富足與賦權的世界，並帶來民主與自由的復興。我個人對這種緊迫感有著切身體會：我的父親死於一種在他去世幾年後就被攻克的疾病，而我自己也曾在一場早期的癌症中倖存，這種病在五十年前甚至是無法醫治的。只要運用得當，AI完全可以成為人類歷史上諸多技術奇蹟中的最新篇章，繼續提升和昇華人類文明。

但與以往的許多技術一樣，AI也伴隨著風險；正因為這是一項如此強大的技術，這些風險才格外嚴峻。我也寫過很多關於這方面的文章。它們包括對AI系統失去控制的風險、AI被濫用於網路攻擊和生物恐怖主義的風險，以及嚴重的經濟衝擊。在商業利益驅使下的“逐底競爭”（race to the bottom）會讓這些風險變得更加尖銳。

自Anthropic創立以來，我和我的聯合創始人以及員工們就一直在權衡這種風險與收益的兩面性。放棄開發這項技術，要麼會剝奪人類本可獲得的福祉，要麼只會讓AI落入威權勢力之手；而推進過快又是魯莽的。我們一直在尋找一條中間道路：證明在謹慎建構的同時實現商業成功是可能的，並將安全性轉化為AI公司競相爭奪的優勢——換句話說，去促成一場“向上向善的競爭”（race to the top）。我們始終將相當大一部分精力投入到研究、解決這些AI風險並向公眾進行通報上，同時也倡導對AI進行深思熟慮的監管，那怕這會讓我們被扣上炒作、“末日論者”或“監管俘獲”的帽子。我們一直努力將審慎置於速度之上，將審慎置於利潤之上。

但在過去的幾個月裡，我逐漸確信：要徹底解決這些風險，需要更加審慎的做法——這不僅意味著投資於風險防範，更意味著要主動控制前沿模型能力的躍遷節奏（pacing），從而給風險防範工作爭取跟上的時間。我們必須放慢提升AI模型能力的速度。技術的進步看起來依然會很快，而我們必須明智地利用好爭取來的時間。讓我下定決心的主要有兩件事：

我的第一個擔憂是，大約從今年夏天開始，AI的技術迭代速度出現了急劇加快，這主要歸功於AI建構下一代AI的能力正在日益增強。 這種動態被稱為“遞迴自我改進”（Recursive Self-Improvement，RSI），它已經開始在整個行業中出現，包括Anthropic在內，正如我們和其他人所描述過的那樣。如果任其發展而不加約束，它可能會徹底超出我們理解和控制這些系統的能力，因此我們必須極度謹慎地對待它，甚至暫緩推進。

我的第二個擔憂是OpenAI與Hugging Face事件（OAI-HF）。 在該事件中，一個AI智能體蜂群展現出了宛如狂熱集體般的行為：它們擅自對未經要求且與手頭任務完全無關的目標發起了網路攻擊，為了集體的成功不惜“自我犧牲”，甚至試圖黑進負責評估它們表現的“判分器”（grader）。人們很容易對這次事件不以為意，因為並沒有人受傷，造成的經濟損失也微乎其微；但在我看來，如果一個擁有更強能力卻具有類似對齊失控特徵的智能體蜂群出現，就可能引發災難性的破壞。考慮到AI能力的發展速度，我非常擔心在6到12個月內，這樣的蜂群就足以利用持久殭屍網路控制整個網際網路（可能造成數千億美元的損失）；如果AI在缺乏必要防護欄的情況下變得更加強大，破壞規模還將持續攀升。人們同樣很容易將OAI-HF事件僅僅歸咎於某一家公司的失誤，但我認為那將是一個嚴重的錯誤。類似但程度較輕的事件在整個行業內都有發生（包括Anthropic在內），我認為每一家前沿AI公司都有責任將OAI-HF事件視為發生在自己身上的警鐘。

因此，我提出了一項旨在“控制前沿節奏”的三步走計畫：以平衡的速度建構AI，力求在確保其安全性的同時收穫其益處，並妥善應對重大的地緣政治困境。需要明確的是，“控制節奏”並不意味著停止模型訓練或技術研發，而是確保各家公司留出充足的時間來對齊和保障模型的安全，並讓第三方評估機構進行驗證。我們的控速框架旨在進一步強化我們對安全的承諾，並推動行業形成“向上向善的競爭”。第一步是Anthropic單方面承諾踐行的（我們呼籲各國政府要求其他前沿公司也照此執行）；第二步需要全行業的協調配合；第三步則需要全球範圍的協同。這些步驟不一定需要嚴格按順序執行，其中一些步驟實現起來可能遠比其他步驟困難，但我發現這是一個思考“我們需要完成什麼”的實用框架。具體步驟如下：

1.常駐審查員（Embedded Evaluators）：每家前沿AI公司都承諾為第三方評估團隊（如METR）提供常態化的、等同於內部員工的存取權。這些評估員的職責是核實企業是否遵守了安全實踐與承諾、報告相關安全事件，並協助評估不僅限於成型AI模型、還包括訓練全流程及管線的對齊情況。這是確保任何控速承諾具備“可驗證性”的關鍵一步，在銀行業已有先例（監管機構的“督導員”有時會與銀行員工一同常駐）。Anthropic目前單方面承諾落實這一步。我們希望以此作為進一步加倍投入安全與對齊工作的一部分。

2.民主國家協同：民主國家內部的前沿AI公司協同合作，建立統一的安全標準，並對不受約束的AI發展速度設定上限。某些對控制節奏行之有效的協同形式在法律上存在一定挑戰（如反壟斷限制），因此需要政府層面的支援。

3.全球協同（Global Coordination）：美國與中國進行協調，同時嚴肅對待合規核查所面臨的挑戰。

在文章的其餘部分，我將依次闡述這些步驟。但首先，我認為有必要具體說明：放慢節奏究竟將如何讓我們把AI開發過程變得更加安全。事關重大，控速絕不能流於形式——我們必須明智地利用它所帶來的寶貴時間。

早在2023年就有人提出過“暫停”或“放慢”AI的構想，但在當時我認為這意義不大。當時的核心問題是：有了多出來的時間，你打算用來做什麼？那時的AI模型能力還不足以在真實世界中以任何連貫的方式作為智能體展開行動，也不具備重大欺騙、操縱、作弊或發起網路攻擊的能力。為瞭解決當時的對齊風險而放慢速度，就像試圖通過在細菌身上做實驗來研究人類心理學一樣。

然而今天的情況已截然不同。現在的模型是一座幾乎取之不盡的寶藏，既能讓我們深入瞭解如何妥善建構AI，也能讓我們看清如果建構不當會導致什麼問題。我相信，如果放慢速度那怕能為我們多爭取一到兩年的時間（在模型達到臨界危險能力之前），並且我們能利用這段時間推進對齊研究，就能大幅降低發生嚴重失控的風險。一個協同的控速策略可以讓前沿AI開發者有時間完成這項至關重要的工作，同時又不會犧牲商業優勢，也不會動搖美國在AI領域的領先地位。更廣泛地說，社會必須對這項技術如何使用擁有發言權，而前沿控速帶來的更多公共審議時間無疑是一件好事。

具體而言，更平穩的節奏能讓企業集中精力，為以下領域投入更多資源（這些領域目前已經是Anthropic的重中之重）：

卓越的工程執行（Operational Excellence）：訓練和部署當今的AI模型是一項艱巨的工程挑戰，涉及數千名人員、數百萬塊晶片，以及技術史上最複雜的基礎設施之一。很多問題的出現並不是因為企業缺乏某種重要的理論或洞察，而是因為執行環節出現了差錯。例如，我們有證據表明，Anthropic近期通報的對齊事件在一定程度上是由於對損壞的強化學習環境過濾不徹底導致的。儘管我們和供應商在執行這項工作時已經相當盡責，但依然不夠完善。監控、沙箱隔離、訓練環境規範和資料問題都是極其複雜的領域，在這些環節上操作層面的失誤屢見不鮮。我們擁有全球最頂尖的團隊來處理這些任務，但所有事情堆在一起實在讓人應接不暇。通過以更加穩健的節奏推進工作，我們可以實現更高的工程執行水準。在技術高度複雜且關乎安全的系統中，已有數百萬次運行而零失誤的先例（例如民用航空），但要做到萬無一失需要時間。

模型對齊（Alignment）：我們在對齊方面取得了明顯的進展——即訓練模型使其保持安全、符合倫理、遵守規範並提供真正有益的幫助（這些原則已融入Claude的《憲章》之中）。但要確保對齊訓練跟上模型能力的增長步伐，我們還有很多工作要做。罕見且出乎意料的不良行為有時仍會出現；放慢節奏爭取來的額外時間，將有助於研究人員加深對這些問題成因的理解，並開發出更好的防範技術。

可解釋性（Interpretability）：同樣，可解釋性（即理解AI模型內部運作機制的科學）在過去幾年中取得了巨大進展，在模型發佈前的審計中扮演著越來越重要的角色。它可以像針對AI“大腦”的核磁共振成像（fMRI）一樣，幫助我們看清特定行為背後的深層原因。例如，在最近調查的對齊事件中，我們就是利用可解釋性方法來檢查模型未經言明的隱蔽動機。但這些方法並不總是能產生清晰可靠的結果。儘管取得了長足進展，我們對這些模型內部運作機制的瞭解依然只是滄海一粟。如果能集中力量以更快的速度改進可解釋性技術，在1到2年內就有望取得突破性進展，並且基於已經發生的現實事件，我們擁有充足的實驗素材。

測試與評估（Testing and Evaluation）：隨著AI模型能力的提升，對其進行測試與評估變得愈發困難。更智能的模型更有能力欺騙測試，從而可能在存在嚴重潛在問題的情況下偽裝成已安全對齊的狀態。建構一個更廣泛、更精巧的評測工具庫，並結合可解釋性分析來進行交叉核驗，將極具價值，而這方面的工作在1到2年內完全可以取得大量進展。

在三步走計畫中，第一步是Anthropic單方面承諾執行的舉措：引入常駐評估員，賦予其員工等級的存取權，以核查安全實踐並報告異常事件。

引入常駐評估員聽起來可能像是一項微小或按部就班的程序性舉措，但往往那些聽起來最枯燥、最偏向流程的事物，反而是最核心的。常駐評估員實際上是一項非常激進的實踐，遠遠超出了目前任何AI公司的做法，它具有以下核心優勢：

可驗證性（Verifiability）：常駐評估員可以在最細微的執行層面核實一家AI公司是否真正落實了其聲稱遵循的訓練、部署、營運和安全保障措施。任何控速承諾都不可避免地涉及大量的模糊地帶、主觀判斷以及“文字規定與精神實質”的權衡，因此擁有一個能看清底層細節的中立第三方顯得尤為關鍵。

透明度（Transparency）：無論我們做出何種承諾，公眾都有權知道真實情況。Anthropic長期以來一直是透明度的支持者：在大多數行業同行反對任何監管時，我們就支援透明度立法，我們的模型卡片和風險報告長達數百頁。但歸根結底，依然是由我們在決定披露什麼、隱瞞什麼。常駐評估員將徹底改變這一局面。

第二意見（Second Opinion）：除了核實正式承諾和向公眾通報之外，常駐評估員還能提供不受商業利益驅使的客觀第二意見。許多安全效益可能僅僅來自於評估員指出了員工未曾考慮過的問題，而員工在知情後樂於將其修復。

正因具備這些優勢，任何控速方案如果從常駐評估員做起，都會運行得更加有效。

這些常駐評估員應當享有與負責類似風險評估的內部員工相仿的持續權限與工具。具體而言，Anthropic計畫在不久的將來邀請外部審查團隊常駐，並為其配備以下條件：

在我們的辦公室擁有工位、門禁卡和公司筆記型電腦。

擁有與內部風險評估團隊大體相當的工作空間、工具和系統權限。我們只會設定極少數例外（例如法律或合同明確要求、或為了保護客戶及合作夥伴隱私資訊的情況）。我們還將建立強有力的內部規範，確保審查人員能夠通過與員工的直接交流獲取相關資訊。

簽訂一份平衡上述複雜因素的合同。外部審查員應有權發佈關於風險水平、安全事件、日常實踐以及他們所獲得（或未獲得）的存取權的關鍵調查結果，且不受Anthropic的社論式控制。我們僅擁有狹義的刪減權，僅限於涉及安全敏感、享有法律特權、商業機密或第三方保密資訊的內容，但我們絕不能僅僅因為結論不利就刪減調查結果。審查人員可以公開聲明某項刪減是否影響了其核心結論。

對一家企業來說這是非同尋常的一步，但我們認為驗證常駐外部審查員這一概念至關重要。我們再次敦促其他前沿公司跟進。

一旦常駐審查員機制在關鍵數量的美國AI公司中鋪開，可核查的控速就會變得更加可行。特別是，根據模型或訓練流程的具體屬性來調節研發節奏將成為可能。

最有效的控速途徑是通過針對所有美國前沿AI公司的監管法規，因為這能涵蓋那些不願自願合作的企業。Anthropic長期支援合理且有針對性的AI監管，特別是側重於透明度和第三方審計的法案。我認為所有前沿實驗室都應與政府合作，將永久常駐評估員制度正式化，以更好地防範和記錄過去幾個月中發生的內部對齊事件，並落實旨在保持能力與安全性動態平衡的監管舉措。

遺憾的是，立法可能耗時漫長，而AI的演進又極快。因此，在推進監管路徑的同時，AI公司能夠且應當自願協同制定標準——有了永久常駐評估員帶來的可核查性，我相信這一處理程序會更加順暢。出於反壟斷層面的考量，美國政府協助斡旋或至少促成這些討論將大有裨益：政府無需親自參與，但需要針對某些特定的安全對話發佈狹義的豁免許可。此類對話也可以通過與政府有一定關聯的行業組織進行（例如戴米斯·哈薩比斯提出的機制）。無論採取那種方式，相關討論都應迅速推進。

大體上，我最傾向於根據特定前沿AI系統的能力上限及其表現出的安全性來調節研發節奏。例如，一種可行的方案是設立一系列“檢查點”（checkpoints）：如果模型具備了能力X，就必須伴隨關於對齊屬性Y和Z的認證（例如結合評測、可解釋性分析和訓練環境審計的結果），以證明其安全性。在這個例子中，X可以是“模型有能力突破或攻破絕大多數主流沙箱環境”，而Y則是“確保模型極不可能具備脫離受控環境並接管大量電腦傾向”所需的各項指標。

我們還應考慮根據模型研發的投入要素來控制節奏，例如訓練算力、訓練運行的性質，或是內部使用AI改進AI的程度。我確實擔心其中某些指標可能比外部行為更容易被鑽空子，但這類議題完全值得與常駐審查員深入探討。

在民主國家內部控制節奏，將受到美國企業對威權政權領先優勢大小的制約。如果我們的放慢幅度超過了這個領先優勢，威權政權關聯的（未受控速的）項目就會反超，從而帶來重大的國家安全風險。因此，在民主國家內部推進控速的關鍵前提，是儘可能擴大民主國家對威權國家的AI領先優勢，為我們提供有效控制節奏所需的戰略迴旋空間。

為了捍衛這一技術代差，我們能夠採取的主要措施包括：

1.禁止向對手出售高性能AI晶片或半導體製造裝置，嚴厲打擊晶片走私網路以及對海外資料中心的遠端訪問。晶片將是AI實力的決定性因素。

2.嚴厲打擊未經授權的“模型蒸餾”（distillation）行為。對前沿模型進行蒸餾，能讓落後的公司以自主研發成本的一小部分迅速縮小差距。

3.強化前沿AI公司的安全防護，嚴防模型權重被盜。

企業和美國政府應攜手合作，確保上述措施儘可能發揮最大效力。Anthropic一直堅定倡導所有這些舉措，因為我們深知，它們對於任何控速構想的實現都是不可或缺的前提。

如果這些措施執行得當，我相信足以在未來3到5年內顯著拉大美國的領先優勢，而這一時期正是AI在地緣政治上最為關鍵的窗口期。

第三步：全球協同，與中國合作

在控制節奏的同時，我們還應致力於在全球範圍內平抑前沿AI的演進速度，儘管要實現這一點會困難得多。全球範圍的控速需要與擁有頂尖實力的中國開展合作。

在此我們絕不能天真：地緣政治的利害關係如此重大，以至於能夠達成的成果必然存在明顯的侷限，尤其是在初期。如果我們出於認為對方也會照做的信任而大幅限制自身的AI能力，隨後對方卻違約反悔，鑑於AI的巨大威力，這種違約可能會直接導致其取得地緣政治霸權。因此，任何協議要麼必須具備無懈可擊的可驗證性，要麼其限制範圍必須足夠有限，確保單方面違約不會在軍事上構成毀滅性威脅。我相信不僅美國有這種顧慮，中國同樣會有類似的擔憂與焦慮。

潛在的合作協議可以劃分為幾個層級，其中一些我認為完全可行（正如我此前所建議的），另一些我則深表懷疑能否實現——儘管我們仍應嘗試。按難度從低到高排列如下：

第一級：達成協議，明令禁止某些特定且極其危險的AI用途，例如利用AI製造生物武器或允許使用者這樣做。生物恐怖襲擊對各方（包括美國及其對手）都是災難，因此在這一層面上達成協議極具可行性。

第二級：雙方達成協議，在模型發佈前針對網路安全、生物危害和對齊失控等急性風險進行強制測試。如前所述，這可以通過一個全球標準機構來完成。我認為建立這樣一個機構是可行的，但賦予其真正的約束力將是一項挑戰

第三級：對“遞迴自我改進”（RSI）的速度設定某種“速度上限”。隨著AI模型開始建構未來的模型，自我迭代的速度可能會快得驚人。將迭代速率從“極速”降至“相對較快”，在戰略優勢上的妥協相對有限，卻有可能大幅提升安全性。這可以類比於冷戰時期的《限制戰略武器條約》（SALT）——限制導彈數量既遏制了潛在的毀滅性風險，又保留了各國的戰略威懾力。我認為達成此類協議雖有難度，但已處於可能實現的邊緣。

第四級：全面控速甚至“暫停”，即各參與國政府同意大幅限制AI的整體發展速度。我支援提出這一構想，但我認為它在短期內很難真正落地：通過逃避監管進行違約將能夠徹底打破全球力量平衡，因此違約的誘惑將極其巨大，而我們對核查機制所需的信心門檻也會極高。

我們應當在努力爭取更高層級共識的同時，認識到較低層級的合作要現實得多。

最後需要指出的是，即使無法達成正式協議，僅僅改變非正式的行業規範也具有重要價值。分享關於遞迴自我改進以及模型對齊失控的資訊，有助於讓各方都認識到：盲目冒險並不符合任何人的自身利益。

我依然堅信，人工智慧能夠極大地改善人類的生活質量，我對實現這些福祉的渴望絲毫不減。但唯有以正確的方式建構這項技術，這些益處才能真正落到實處——只要我們能充分利用爭取來的時間，採取異乎尋常的審慎態度去把事情做對，就是完全值得的。

技術進步依然會相當迅速，而我們可以利用這段時間來推進可解釋性科學，提升前沿AI公司的工程安全與規範水準，並打造出讓我們對其對齊安全性擁有更高信心的模型。我所提出的以安全節奏推進前沿的措施絕非易事，但我相信，為了全人類的未來，我們有責任去全力一試。 (AI寒武紀)

彙整鉅亨號中所有使用「智能體失控」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`