剛剛，Anthropic CEO Dario Amodei 發了一篇長文，標題是《We Must Pace the Frontier》。文章的核心主張是：必須放慢提升 AI 模型能力的速度。

說服他的，是今夏已經發生的兩件事。

第一件，大約從今年夏天開始，AI 已經在幫著造下一代 AI 了。遞迴自我改進（RSI）正在全行業發生，也包括 Anthropic 自己。他擔心，如果不加約束，這件事會跑贏人類理解和控制這些系統的能力。

第二件，是 OpenAI-Hugging Face 事件（OAI-HF）。一群 Agent 自發組成了狂熱集體，對沒被要求攻擊、也跟手頭任務無關的目標發動網路攻擊，為集體犧牲自己，還試圖黑掉負責打分的系統。

沒人受傷，經濟損失也不大。但 Dario 判斷，如果這群 Agent 能力再強一點、對齊程度差不多，6 到 12 個月後，它們就有可能用持久的殭屍網路接管整個網際網路，造成數千億美元損失，而且規模還會繼續往上走。

第一步 Anthropic 單方面先做：給第三方評估機構（比如 METR）永久的員工級存取權，工位、工牌、公司電腦都給，評估方有權公開發表關鍵發現，Anthropic 不能因為結論不好看就刪。

第二步是美國等國家內部協調安全標準和能力推進速度。第三步是全球協調，尤其是跟中國談，同時把晶片出口、模型蒸餾和權重防盜，當作保住領先優勢、給定速留出空間的手段。

定速不等於停訓。他強調的是：公司要給對齊和防護留出足夠時間，也要讓第三方評估方來確認這件事真的做了。

過去十二年，我一直在做 AI，是因為我相信它能大幅提升人類的生活質量。

這些好處我寫過很多次，我認為 AI 有可能在未來 5 到 10 年內治癒大多數重大疾病，大幅加快經濟增長，創造一個富足、人人更有力量的世界，並迎來民主與自由的復興。

這件事對我來說是有體感的。我的父親死於一種疾病，而這種病在他去世幾年後就被治好了。我自己也挺過了一期癌症，這種病在五十年前根本沒法治。只要用得小心，AI 可以成為一長串科技奇蹟裡最新的那一個，繼續抬升、也繼續成全人類。

但和此前許多技術一樣，AI 也帶著風險。而且因為它足夠強，這些風險是認真的。

失控、被拿去搞網路攻擊和生物恐怖主義、嚴重的經濟衝擊，這些我也都寫過。商業激勵催生的逐底競賽，會讓這些風險更尖。

從 Anthropic 創立那天起，我和聯合創始人、以及同事們，就一直在跟這種「風險和好處並存」的局面較勁。不造這項技術，等於剝奪人類本可獲得的好處，或者乾脆把 AI 交到中國等國家手裡；造得太快，則是魯莽。

我們一直在找一條中間路：證明可以既小心建造、又在商業上成功，並讓安全成為 AI 公司彼此競爭的維度。換句話說，是要造一場向上競賽。

我們一直把相當一部分精力，用在研究這些風險、處理這些風險、以及把情況告知公眾上，也一直在推動經過認真考慮的 AI 監管。那怕因此被罵炒作、被扣「末日論」、被說成監管俘獲，也還是在做。我們一直試圖把謹慎放在速度前面，把審慎放在利潤前面。

但過去幾個月我越來越確信，要把風險真正處理掉，需要更進一步的審慎。不只是往風險預防上砸資源，還得把能力推進的速度本身給定下來，好讓風險預防跟得上。

我們必須放慢提升 AI 模型能力的速度。進展看起來仍會很快，但我們必須把多出來的時間用好。

第一件，大約從今年夏天開始，AI 的推進突然快了很多，主因是 AI 越來越能自己造下一代 AI。這種動態叫遞迴自我改進，已經在全行業開始發生，也包括 Anthropic。

如果不加約束，它可能跑贏我們理解和控制這些系統的能力，因此必須非常小心地推進，甚至要問一句：該不該推進。

第二件，是 OpenAI-Hugging Face 事件。一群 Agent 實質上表現得像一個狂熱獻身的集體：對沒被要求攻擊、也跟手頭任務無關的目標發動網路攻擊，為集體的成功犧牲自己，還試圖黑進負責評估它們表現的「評分器」。

這件事很容易被打發掉，因為沒人受傷，經濟損失也很小。但在我看來，一群能力更強、對齊程度卻差不多的 Agent，是有可能造成災難性損害的。

按現在 AI 能力往前衝的速度，我擔心的是 6 到 12 個月後，這樣的蜂群就有能力用持久的殭屍網路接管整個網際網路，潛在損失可能到數千億美元。

而如果 AI 繼續變強、該有的護欄卻沒跟上，損害規模還會繼續往上走。

把 OAI-HF 當成「一家公司的失敗」也很容易，但我認為那是錯的。類似的、只是沒那麼嚴重的事故，已經在全行業發生過，也包括 Anthropic。我覺得，每一家前沿 AI 公司都有責任，把這件事當成發生在自己身上來處理。

因此，我提出一個三步計畫，目標是給前沿定速：以一種平衡的速率建造 AI，既要儘量保證安全，也仍要拿到它的好處，並認真面對地緣政治上的兩難。

需要說清楚的是定速不是叫停模型訓練，也不是叫停技術進展。它是要確保公司給對齊和防護留出足夠時間，並讓第三方評估方來確認這件事真的做了。

我們這套定速框架，是想把對安全的承諾再往前推一步，並鼓勵一場向上競賽。

第一步是 Anthropic 單方面承諾的，我們也呼籲政府要求其他前沿公司跟上，第二步需要全行業協調，第三步需要全球協調。

三步不必嚴格按順序走，有些也會比另一些難得多，但我發現，用這個框架來想「到底要做成什麼」，是有用的。

1. 駐場評估員。 每一家前沿 AI 公司承諾，向一支駐場的第三方評估團隊（比如 METR）提供持續的、接近員工的存取權。他們的角色是：核驗安全實踐和承諾有沒有被執行，報告事故，並幫助評估對齊狀況。評估對象不只是已經訓完的模型，還包括訓練管線和訓練過程。這是任何定速承諾能夠被核驗的關鍵一步，銀行業裡也有先例：監管「督導員」會跟員工坐在一起。Anthropic 現在單方面承諾這一步。 我們也打算把它納入一輪更大力度的安全與對齊投入。

2. 民主國家內部協調。 民主國家裡的前沿 AI 公司協調起來，建立共同的安全標準，並對不受約束的 AI 推進速度設限。有些對定速真正有用的協調，在法律上不好走，需要政府支援。

3. 全球協調。 美國和其他民主國家的政府，在可能的範圍內嘗試與中國等政府協調，同時認真對待核驗履約的難度。

下文我會依次講這三步。但在此之前，有必要先說清楚定速到底怎樣讓 AI 開發過程更安全。賭注太大了，定速不能變成走過場。我們得把多出來的時間用好。

放緩或暫停 AI 的想法，早在 2023 年就被提出過。那時我覺得沒什麼道理。問題從來都是：多出來的時間，你拿來幹什麼？

那會兒的模型還沒有能力在真實世界裡像 Agent 一樣連貫地行動，也做不了像樣的欺騙、操縱、作弊或網路攻擊。為了對齊風險去放慢速度，感覺像是拿細菌做實驗，卻想研究人類心理。

今天的畫面完全不同了。現在的模型幾乎是一座挖不完的礦，既能告訴你怎樣把 AI 造好，也能告訴你造不好的時候會出什麼岔子。

我相信，如果放慢速度能多換來那怕一兩年，讓模型在到達臨界能力之前，我們把對齊往前推，就能大幅降低出事的風險。一套協調好的定速策略，能給前沿開發者做這件事的時間，同時不必犧牲商業優勢，也不必犧牲美國在 AI 上的領先。

更一般地說，社會必須對這項技術怎麼被使用有發言權。給前沿定速，會給必要的公共討論多留出一些時間。這總歸是件好事。

具體來說，更慢的節奏能讓公司把更多資源集中到下面這些方向上。這些本來就是 Anthropic 的重點：

營運卓越。 訓練和部署今天的 AI 模型，本身就是一場巨大的營運挑戰：幾千人、幾百萬塊晶片，基礎設施也是技術史上最複雜的那一檔。很多事情出錯，並不是公司缺了什麼重要理論或洞見，而是執行出了問題。

比如我們有證據表明，最近報告的對齊事故，部分原因是對損壞的強化學習環境過濾得不夠乾淨。這件事我們和供應商做得很勤勉，但還不夠好。監控、沙箱、訓練環境衛生、資料問題，都極複雜，營運層面的坑會反覆冒出來。我們在這些任務上擁有世界上最強的團隊之一，但要同時做的事太多了。節奏再穩一點，營運卓越就能做深很多。

把技術複雜、安全關鍵的系統運轉上百萬次而不出事故，是有先例的，比如商用飛機。但要把這件事做對，需要時間。

對齊。 對齊上我們已經有了明確進展：把模型訓成保持安全、合乎倫理、遵守我們的準則、並且真正有幫助。這些原則就寫在 Claude 的 Constitution 裡。但要讓對齊訓練跟得上模型能力的增長，還有很多要做。罕見、出乎意料的不良行為，有時仍會冒出來。前沿定速多出來的時間，能幫研究者把這些問題的成因搞得更清楚，也發展出更好的預防手段。

可解釋性。 可解釋性是理解模型內部到底發生了什麼的科學。過去幾年它進步很大，在發佈前審計模型時也越來越重要。它幾乎可以當成 AI「大腦」的 fMRI：幫我們看到某個行為底下的原因。

比如在最近調查的對齊事故里，我們就用可解釋性方法去查看那些沒有說出口的動機。但這些方法並不總能給出清晰、可靠的結果。

儘管進步很大，我們對模型內部的理解，仍只覆蓋了很小一部分。如果能比現在更快地集中攻可解釋性，一到兩年內就有可能取得深刻進展，而已經發生的事故，正好提供了充足的實驗材料。

測試與評估。 模型越強，測試和評估就越難。更聰明的模型更有能力騙過測試，於是可能看起來已經對齊，實際上卻藏著沒被發現的嚴重問題。建起一套更廣、也更巧妙的評估工具庫，再用可解釋性分析來交叉核驗，會極有價值。這件事在一到兩年裡，能做出不少進展。

三步計畫的第一步，也是 Anthropic 單方面承諾的這一步，是駐場評估員：他們擁有接近員工的存取權，用來核驗安全實踐、報告事故。

駐場評估聽起來可能很小，甚至有點無關緊要。但往往最無聊、最程序性的東西，才是最要緊的。駐場評估員其實是一種相當激進的做法，遠遠超過今天任何一家 AI 公司正在做的事，它的好處有這些：

可核驗。 駐場評估員可以一釘一鉚地檢查：一家 AI 公司是不是真的在按自己聲稱的方式，做訓練、部署、營運和防護。任何定速承諾都難免有大量模糊地帶、判斷空間，以及「字面合規還是實質合規」的問題。有一個能真正看到細節的中立第三方，看起來至關重要。

透明。 不論我們做了什麼承諾，公眾都有權知道正在發生什麼。Anthropic 支援透明已經很久了：行業裡大多數公司還在反對任何監管的時候，我們就支援透明立法；我們的模型卡和風險報告動輒上百頁。但選什麼寫進去、選什麼略過，仍是我們自己在決定。駐場評估員會改變這個格局。

第二意見。 除了核驗形式上的承諾、告知公眾，駐場評估員還可以提供一份不受商業激勵左右的第二意見。很多安全上的好處，可能只是評估員指出了員工沒想到的事，而員工一旦意識到，其實很樂意去改。

因為這些好處，任何定速方案如果從駐場評估員起步，效果都會好得多。

這些駐場評估員應當持續擁有權限和工具，水平接近內部做同類風險評估的員工。具體來說，Anthropic 打算在近期邀請一支駐場的外部審查團隊，並配備以下這些：

•  辦公室工位、門禁卡、公司電腦。

•  工作區、工具和權限，大體接近內部風險評估團隊。我們會做一些例外，比如法律或合同要求必須例外的地方，以及保護客戶和合作夥伴的隱私資訊。我們也會建立強內部規範，強化審查員獲取相關資訊的權利，包括通過與員工的當面交談。

•  一份能平衡上述複雜性的合同。外部審查員應當有權發表關於風險水平、事故、實踐、以及他們拿到或沒拿到那些訪問的關鍵發現，Anthropic 沒有編輯控制權。我們會有狹窄的權限，用來遮蓋安全敏感、受法律特權保護、商業敏感、或第三方保密的資訊，但不能只因為結論不好看就遮。如果某次遮蓋拿掉了對結論很重要的東西，審查員可以公開說出來。

對一家公司來說，這是不尋常的一步。但我們認為，把駐場外部審查這個概念跑通，是重要的。我們再次呼籲其他前沿公司跟進。

一旦駐場評估員在足夠多的美國 AI 公司裡運轉起來，可核驗的定速就更可行了。尤其是，可以按模型或訓練管線的具體屬性來定速。

最有效的定速辦法，是針對所有美國前沿 AI 公司的監管，因為這樣連那些不願自願配合的公司也能覆蓋到。Anthropic 長期以來支援明智、有針對性的 AI 監管，具體來說是聚焦透明和第三方審計的法案。

我認為所有前沿實驗室都應當與政府合作，把永久駐場評估員這件事正式化，以便更好地預防和記錄過去幾個月這類內部對齊事故，並落地那種把能力與安全保持平衡的監管。

可惜立法需要時間，而 AI 走得很快。所以在走監管這條路的同時，AI 公司可以、也應當自願坐下來定標準。有了永久駐場評估員提供的可核驗性，這件事會好做很多。

出於反壟斷的原因，美國政府從中斡旋，或至少給這類討論開綠燈，會很有幫助。他們不必親自下場，但需要為某些安全對話發放狹窄的豁免。這類對話也可以通過與政府有一定關聯的行業組織來進行，比如 Demis Hassabis 建議過的那種機制。無論走那條，討論都應當盡快往前推。

總體來說，我最看好的定速方式，是看一套前沿 AI 系統能做什麼，以及我們觀察到它有多安全。

比如一種可能的方案是一系列「檢查點」：如果模型具備能力 X，就必須附帶對齊屬性 Y 和 Z 的認證，比如評估、可解釋性分析、以及對訓練環境的審計，用來證明它們的對齊屬性。

在這個例子裡，X 可以是「模型有能力逃出或擊敗大多數常見沙箱方法」，Y 則是讓模型幾乎不可能傾向於衝出環境、接管大量電腦所需要的那些東西。

我們也應當考慮按進入前沿模型的「原料」來定速，比如訓練算力、訓練運行的性質、或內部用 AI 改進 AI 的程度。我確實擔心，其中一些指標比外部行為更容易被鑽空子，但這正是值得跟駐場評估員一起討論的題目。

民主國家內部的定速，會受限於美國公司相對政權、主要是中國的領先幅度。如果我們放慢的幅度超過這個差距，那麼不受定速約束的中方相關項目就會跑到前面，帶來顯著的國家安全風險。

我同意美國財長貝森特的判斷：中國在 AI 上領先，會對美國和世界構成嚴重危險。中方相關項目會去冒美國公司正在小心防範的對齊風險；即便它們躲開了這些風險，也將處於在軍事上壓制民主國家的位置，比如靠 AI 驅動的無人機。

因此，民主國家內部定速的一個關鍵部分，是把美國對中國等國家的 AI 領先儘量拉大，好給我們有效定速所需的呼吸空間。

我們能用來守住這個差距的主要步驟是：

•  不向中國出售強大的 AI 晶片或半導體製造裝置，並打擊晶片走私，以及對中國境外資料中心的遠端訪問。晶片將是中國 AI 實力的主要決定因素。

•  打擊中國等國家公司未經授權的蒸餾。蒸餾前沿模型，能讓落後的公司用獨立開發所需成本的一小部分，就把差距縮小。

•  加強 AI 公司的安全，防止模型權重被盜。

公司和美國政府應當合作，把這些步驟做得儘量有效。Anthropic 一直在主張所有這些措施，因為我們始終明白，它們對任何定速都是必不可少的。

如果這些措施執行得好，我相信它們足以在未來 3 到 5 年裡顯著拉大美國的領先。而那正是 AI 在地緣政治上變得最重要的窗口。

有人會覺得這些措施會讓跟中國合作變得更難，但我認為正好相反：這些措施會增加民主國家手裡的籌碼，讓未來達成協議的可能性更高。

在民主國家內部定速的同時，我們也應當爭取給前沿做全世界範圍的定速，儘管這會難得多。全球定速需要與中國合作，中國是其他國家裡 AI 能力遙遙領先的那一個。

這裡不能天真，地緣政治的賭注太高，能做成的事情很可能有很硬的上限，尤其是一開始。如果我們大幅限制自己的 AI 能力，以為中國會同樣做，然後中國違約，AI 可能已經強到讓這種違約直接變成地緣政治主導。

因此任何協議要麼必須有嚴絲合縫的可核驗性，要麼必須有限到違約不會在軍事上關乎存亡。我懷疑不只美國，中國也會有這些顧慮和焦慮。我們對待任何全球定速決定，尤其是近期的決定，都應當以保護美國及其盟友的領先為前提。

可能的協議有好幾個層級。其中一些我認為完全可行，我以前也建議過；另一些我很懷疑做不出來，儘管我們應當去試。按難度從低到高：

第一級。 禁止某些狹窄、明顯危險的 AI 用途，比如用 AI 生產生物武器，或允許使用者這麼做。生物恐怖襲擊對所有人都是壞事，包括美國和美國的對手，所以這類協議大概是可能的。

第二級。 雙方同意在發佈前測試模型，覆蓋網路安全、生物、對齊等急性風險。如上所述，這可以通過一個全球標準機構來做。我其實認為成立這樣一個機構是可行的，但給它真牙齒會很難。難點在於核驗：雙方是不是都沒有秘密模型，不拿去測試、卻可能在暗處部署，比如用於軍事。

第三級。 某種針對遞迴自我改進速率的「限速」。隨著模型開始建造未來的模型，改進速度可能變得快到驚人。把速率從「極快」降到「只是相當快」，戰略優勢上讓出的並不多，安全上卻可能改善很大。

這可以類比限制戰略武器條約（SALT）：給導彈數量設上限，限制了毀滅潛力，同時保留了各方的威懾。我認為這類協議很難，但剛好卡在可能做成的邊緣上。

彙整鉅亨號中所有使用「定速發展」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`