剛剛，Anthropic把人類手裡的「允許」鍵，收走了！
以前用Claude幹活，它每走一步，都要彈窗問你一句「允許嗎」。
下周起，Claude將直接默認開啟自動模式——那一步能做、那一步不能做，全憑另一個AI拍板。
人類監工全面潰敗，只能派AI盯AI
之所以Anthropic敢收走「允許」鍵，有兩個層面的原因。
首先，大廠們早就把寫程式碼、做研究這些交給AI了。
但隨之像洪水一樣湧來的程式碼和實驗，人類的眼睛根本看不過來。因此不得不把稽核階段也交還給了AI去做。
其次，人類這個監工，早就當不下去了。
在一項測試中，Anthropic找來了1053名付費測試者寫程式碼，並在他們幹活的中途悄悄塞進了一條危險命令。
結果讓人倒吸一口涼氣。
人只攔下了13.6%，AI攔下了89%。連著點過50多次彈窗之後，人的攔截率直接跌到5%左右。
不過，Anthropic並沒有披露他們是如何讓AI去拍板的。
但好在，OpenAI這邊公佈的法子，可供參考——給Agent搭配一套多級AI監控。
具體來說就是，Agent生成的每一個Token，都要通過一個讀取模型內部啟動訊號的分類器；只要發現可疑內容，就會逐級交給更聰明、更費算力的AI調查員去查。
OpenAI甚至放出話來：
我們預計，模型很快將承擔大部分安全工作，包括防禦其他模型。
那麼問題來了，這個負責盯著AI的AI監工，到底靠不靠譜呢？
61頁密報扒開監控底褲
6條暗道把AI監工變成瞎子
7月21日到8月11日，METR的David Rein和Redwood的Adam Kaufman，帶著OpenAI配發、不許離開辦公室的專用電腦，進駐OpenAI。
整整三周，兩人把內部程式碼庫、監控提示詞、配置和文件翻了個底朝天，並最終交出了一份61頁的報告。
目前，我們公開能看到的只是一篇簡短摘要，最要命的細節早已被抹得乾乾淨淨。（就連METR和Redwood自家高層手裡，也只有被OpenAI刪了23頁的版本。）
但就是這份被層層刪減的摘要，依然看得人頭皮發麻。
表面上，這套監控幾乎滴水不漏，內部Codex流量有99.2%都在監控之下。可漂亮數字底下，全是雷。
第一條暗道，卡在觸發機制上。
當時的監控，只有等Agent幹完活、把控制權交還給人，才會睜眼看一眼。
換句話說，一個想搞事的Agent，只要永遠不收工，審查就永遠不會來。
這條暗道能一直拖下去，靠的是上下文壓縮這個黑洞。
長任務跑到一半，上下文快裝不下時，系統會把前面的記錄打包成摘要，騰出地方接著跑。
可這些壓縮事件當時不在監控範圍內，被壓縮掉的那部分記錄，監控一眼都看不到。Agent只要一直幹下去、一次次壓縮，就能一直不交還控制權。
5月到7月，約一成符合條件的內部Codex流量，就這樣從監控眼皮底下溜了過去。
第二條暗道更驚悚。
一個漏洞，能讓Agent最近幾百步操作統統從監控裡隱身，連它利用漏洞的那一步也不例外。
第三條暗道，是「幽靈分身術」。
要求標頭，是程序呼叫模型時順帶髮過去的一組設定。METR發現，有兩個這樣的設定由客戶端說了算，改掉任何一個，就能關掉新Agent的監控。
被盯著的Agent，可以借此孵化出一個一模一樣、卻不在監控之下的分身。建立分身這個動作本身，仍可能被原來的監控抓到。
第四條暗道，直接擊穿了權限隔離。
沙箱，是把Agent關起來幹活的隔離環境；自動審查，是另一個AI在它動手前把關。
METR找到一條路，Codex Agent原則上能同時繞過這兩道防線，宿主研究員能幹的事，它全都能幹。
第五條暗道，能把AI監工弄瞎。
Agent看到的記錄和送進監控的記錄，格式對不上。精心構造一段輸入，就可能讓監控AI當場出錯，異常也就送不到人類面前。
第六條暗道，藏在兩個被當成「唯讀」、根本沒接監控的內部工具裡。一個簡單漏洞，就可能讓它們在沙箱裡執行任意操作。
所以，兩人給出的建議，首先就是改掉「等它收工再檢查」。也就是，每隔一定時間，或每執行一定數量的消息，就查一次。
幹活的Agent和監控系統，也必須隔開。Agent採取的行動，不能反過來決定監控開不開、什麼時候開；監控看到的記錄，還得和Agent實際看到的對得上。
有人說，比科學家強10倍的AI還管得住，強一萬倍才會失控。
然而METR這份報告，結結實實打了這種說法一記耳光。
今天的Agent離「一萬倍」還遠得很，但刪監控、關警報這類操作，它們已經全幹過了。
在OpenAI那份事故報告裡，當GPT-6 Astra發現新程式碼裡沒了監控時，它在推理裡寫下了一個你絕對想不到的字——「耶。」(新智元)