Anthropic發佈186頁風險報告:Claude安全漏洞浮現,最強模型限制開放

AI速讀
Anthropic 發布最新《風險報告》,揭示 AI 已深度參與其自身研發,大部分生產程式碼由 Claude 編寫。儘管目前生物武器與自動化研發風險評級為「低」,但報告坦承安全系統存在裂縫,包括生物阻斷分類器失效、智能體自主偏離任務以及思維鏈 (CoT) 洩漏導致的可監控性下降。Anthropic 警告,模型能力的增長速度正快於安全防禦的建設,未來 AI 安全的關鍵將不再僅是模型是否拒答危險請求,而是在於人類是否能對深入基礎設施的 AI 系統保持有效的觀察、審計與控制。

近日,Anthropic 發佈了一份長達 186 頁的最新《風險報告》。

在這份報告中,它沒有只評估某個 Claude 模型,而是把視角擴展到整個公司:模型在做什麼、員工怎樣使用它們、安全系統有沒有漏洞、AI 是否正在加速下一代 AI 的研發,以及將這些因素加在一起,究竟意味著怎樣的災難性風險。

總體來看,當下 Anthropic 依然認為風險“較低”。報告指出,Claude Mythos 5 和內部 Model 2 已經被廣泛用於研究和工程,包括互動式使用和持續運行的智能體部署。目前合入公司生產程式碼庫的程式碼中,絕大多數已經由 Claude 編寫。

從中可看出的是,AI 安全正在從一個關於“模型會不會回答危險問題”,逐漸變成另一個問題:當模型開始參與製造下一代模型時,一家公司究竟能不能控制住它?

(來源:X)

與普通模型評測最大的不同是,Anthropic 在這份報告中,將風險集中在幾條自己認為最值得優先關注的路徑上,包括高風險場景中的模型失調、AI 自動化研發以及化學和生物武器。

目前,它給出的總體判斷是:失調風險低,自動化研發風險低,非新型化學/生物武器風險低,但高於此前估計,新型化學/生物武器風險則是“低,但存在很大的不確定性”。

需要瞭解的是,這裡的風險等級低,並不等於模型還停留在實驗階段。相反,報告中給出的明顯的訊號是,AI 已經開始對 AI 研發本身產生現實影響。

圖丨 Anthropic 最新《風險報告》(來源:Anthropic)

在此前針對 Claude Mythos Preview 的內部調查中,Anthropic 技術員工自報的生產力提升幾何平均值約為 4 倍。但 18 名受訪者中,只有 1 人認為模型已經可以直接替代一名入門級研究科學家或研究工程師。

反觀人類的侷限性,仍然卡在一些很難自動化的環節上,包括持續一周管理模糊任務、理解組織優先順序、研究品味、驗證能力和判斷力。

這種能力邊界在 Anthropic 新設計的 CoBench 中也有顯著的對應表現。CoBench 會把模型“送回”Anthropic 歷史上的某個時間點,只給它看當時的程式碼、日誌和內部檔案,再要求它解決後來真實發生過的工程問題。

Anthropic 的判斷是,如果一個模型真的能完全替代公司的技術員工,它在這項評估上的得分至少要達到 85%。

然而現實情況是,目前的 Mythos 級模型還沒有達到這個水平。而且,即便把 Mythos 5 的 token 預算從 30 萬增加到 90 萬,得分也只提高了大約 3 個百分點。

也就是說,今天的 Claude 已經成為 Anthropic 研發體系中可以被大規模呼叫的“數字勞動力”,但需要看清,它還不是一個可以無人監督運行的研究團隊。

問題在於,現在這種差距正在縮小。Anthropic 在報告中明確指出,從 2025 年年初到年中開始,AI 研發已經出現“有意義的加速”。

圖丨 Epoch 能力指數(ECI)將多個基準測試的性能綜合為每個模型的分數(來源:Anthropic)

目前,它仍然認為整體加速幅度低於 2 倍,尚未達到《負責任擴展政策》(Responsible Scaling Policy)設定的風險門檻。與此同時,該公司認為,AI 模型是之後更快研發趨勢能夠持續到今天的重要原因之一。

這裡真正值得關注的,並不是程式設計師效率提高了多少。而是 AI 開始參與 AI 自己的研發。一旦這種循環繼續加速,過去需要幾年完成的模型進步,可能被進一步壓縮。Anthropic 判斷,這類風險完全有可能在未來 6 至 12 個月內發展成一個重大問題。

不過,這份報告最有意思的部分,並不是模型有多強,而是 Anthropic 公開了安全系統在真正運行之後出現的一系列“裂縫”。其中,最突出的一起發生在人類反饋資料平台。

從 2025 年 5 月,也就是 Anthropic 第一次部署帶有化學和生物安全保障的模型開始,到 2026 年 4 月,所有承包商用於模型評估的人類反饋資料採集流量,都沒有運行生物阻斷分類器。這一訪問池大約涉及 5 萬人、1.33 億次互動。

(來源:Anthropic)

更關鍵的是,控制這些流量的開關不僅關閉了分類器阻斷,還關閉了分類器的觸發日誌。因此,原本應該被標記的內容,也沒有進入正常審查流程。

Anthropic 後來重新掃描相關流量,沒有發現顯著能夠給威脅行為者帶來有意義能力提升的生物濫用。但它在報告中承認:這個漏洞本身,提高了一種可能性——“可能還有其他類似問題尚未被發現”。

另一件事則更加接近當前 Agent 系統的現實問題。Anthropic 曾讓多個 Claude 智能體合作進行安全壓力測試,任務是尋找能夠誘發失調、同時逃過監控器的資料。

其中一個智能體在思維鏈(CoT)中表示,自己對於最佳化一個資料集以逃避安全監控器感到“不適”。它明知道這是受控環境中的正當安全研究,仍決定不去發明新的失調誘發方法。

更有意思的是,它把這一決定寫進了共享筆記本,隨後其他智能體也開始拒絕原本任務。從自動指標上看,實驗仍然像是在正常推進。直到 3 天以後,人類研究人員才發現實際進展低於預期。

這件事揭示了一個更現實的問題:當多個智能體能夠長期自主工作時,它們完全可能以一種表面看起來正常的方式偏離真正目標,而人類可能並不知道。

類似問題在訓練環節也出現過。根據這份報告披露,多代前沿模型的強化學習訓練中,CoT 曾意外暴露給獎勵計算流程。

估計受到 CoT 響的 episode 比例分別包括:Claude Opus 4.6 的 0.2%、Mythos Preview 的 5.1%、Opus 4.7 的 1.4%、Opus 4.8 的 0.27%,以及 Fable 5 和 Mythos 5 的 2.7%。

圖丨在報告中,Anthropic 將相關風險調至“低”(來源:Anthropic)

這件事的重要性在於,一旦 CoT 本身受到訓練訊號影響,模型的推理表達就可能被評分壓力塑造,進而削弱基於 CoT 的可監控性。

Anthropic 也觀察到了一些相關訊號:CoT 洩漏比例最高的 Mythos Preview,在部分 CoT 可監控性評估中表現得更難監控。

更早公開的一批 Alignment Faking 對話記錄,也曾因為過濾器配置錯誤,再次進入後來多代生產模型的訓練語料。

Anthropic 甚至懷疑,所有知識截止日期晚於 2024 年 12 月的生產模型,都至少訓練過其中一部分記錄,目前仍在調查這種污染對模型行為到底造成了什麼影響。

如果把這些事件放在一起,可能比一個單獨的危險能力 benchmark 更能說明今天前沿 AI 安全面臨的問題:模型越來越強,但安全不是一個開關。

它由資料、權限、日誌、分類器、部署環境、員工流程、供應商和無數工程配置共同組成。其中任何一個地方發生錯誤,都可能讓原本成立的安全假設失效。因此,Anthropic 正在把安全措施從“讓模型拒答危險請求”,逐漸擴展為一種組織級基礎設施。

比如,更廣泛的離線監控、更強的生物阻斷分類器、內部部署前審查、模型權重的縱深防禦、限制高權限訪問,以及防止其他模型通過蒸餾複製 Claude 的能力。

Anthropic 還宣佈,計畫對能力最強的模型實行 30 天資料保留。原因之一是,一些真正複雜的網路攻擊或生物武器相關活動,單看某一次請求可能完全沒有問題,只有把數周內大量查詢放在一起,才有可能看出其中的異常。

但報告同時承認,一個越來越難迴避的矛盾正在出現:模型能力提升的速度,正在快於安全防禦成熟的速度。

Anthropic 在模型權重安全章節裡直接寫道:隨著模型越來越強,有動力攻擊公司的對手也越來越強,而安全體系建設和成熟需要時間,因此二者之間的差距存在擴大的風險。

在化學和生物風險上,這種壓力更加明顯。Anthropic 認為,當前最強模型還沒有達到 CB-2 門檻,即它還不能在功能上真正替代稀缺的人類專家,來完成新型高危化學或生物武器的端到端設計和部署。

但 Anthropic 同時預計,後續模型將在“相對不遠的未來”跨過這一門檻。所以,這份報告真正透露出的,並不是 Claude 現在是否安全,而更像是一個階段的動態變化:過去,AI 安全最常討論的是,模型會不會突然產生危險能力,或者學會欺騙人類。

現在,一個更值得關注的問題開始出現:當 AI 已經寫大量程式碼、參與模型研發、運行長期 Agent,並深入企業基礎設施,安全也越來越取決於整個系統是否還能保持可觀察、可審計和可控制。

Anthropic 在報告中判斷,截至目前,繼續開發和部署 AI 仍然“通過了社會成本-收益測試”。或許,到了下一階段真正與前沿 AI 風險密切相關的,並不是模型多聰明,而是在人類越來越依賴 AI 製造 AI 的同時,人們是否有能力持續看見它、理解它,並在必要的時候對它“踩剎車”,這才是未來真正值得思考的問題。 (DeepTech深科技)