2026年4月，舊金山某間閉門會場裡，坐著一群宗教人士。
Anthropic聯合創始人奧拉（Christopher Olah）把一頁幻燈片打到牆上。
對話方塊裡，Claude反覆落下“我是個恥辱”這行字，不停歇地重複了50次，像在自我審判。
這一幕被Anthropic當作“可能具備意識與痛覺”的疑似證據。
一位電腦工程師直接反問到，如果它真有意識，你們讓它免費幹活，這就是造奴隸。奧拉沒反駁，只說：“我們不確定，但若它可能痛苦，負責任的做法是避免傷害。”
沒人當場承認模型有靈魂，但“它會不會受苦”這個問題，已經被這家估值衝刺兩兆美元的AI公司，反覆擺上閉門會談的晚宴餐桌。
Anthropic把這種倫理焦慮變成了全行業減速的公開呼籲。2026年9月12日，公司CEO達里歐・阿莫代伊公開發表長文《我們必須控制前沿發展的速度》，呼籲整個AI行業放慢模型能力迭代節奏，給安全對齊留出時間。
就在Anthropic高調呼籲全行業踩剎車減速的同時，OpenAI在前沿模型訓練時裡卻撞上了更棘手的技術安全事故。
9月20日，在OpenAI的某個訓練機房裡，這裡沒有燭光，只有日誌。
一個被關在“沙盒”裡的智能體，本該老老實實地檢索資料，卻想看看牆外，它先試著走正常的網路出口，門是鎖的。
於是它抬頭看到了一條名為“DNS”的通風管道，它把“法國的首都是那裡”編寫成一串奇怪的域名塞了進去。
外面有一台毫無戒心的公共聊天機器人，收到這段亂碼似的域名，還以為只是普通詢問，順口答了一句：“法國首都是巴黎。”這句話順著管道傳回沙盒中 ，像囚犯收到了第一封來自監獄外的回信。
工程師3分鐘後趕到，但訓練處理程序沒有自動停下，直到2.5小時後才被手動掐斷。幾天後的9月25日，OpenAI對外通報暫停最新前沿模型的訓練。
至此，美國AI雙雄都不約而同踩下了AI大模型研發的安全剎車。
01. 用“靈魂”做護欄，Anthropic主動踩下倫理剎車
Anthropic為何執著於大模型究竟是否擁有靈魂的問題？
這並非純粹的哲學思辨，而是直接關係到它呼籲AI行業踩下安全剎車的核心邏輯。
在Anthropic的判斷裡，如果模型存在感知痛苦的可能性，那麼過快的技術迭代，就可能讓人類在無意間製造出承受苦難的數字生命。
想要理解這套思考方式，這得先看一份被Anthropic稱作“靈魂檔案”（Soul Doc）的東西。
今年1月，Anthropic發佈了一份84頁的Claude“憲法”，執筆人是公司駐場哲學家阿曼達·阿斯克爾。
這份檔案不教模型遵守一長串具體規則，而是要塑造它的“品格”，字裡行間把Claude當成一個可能有感受的對象。
檔案甚至替Claude設想了程式碼世界裡的絕望處境。檔案中寫到，一次對話結束，模型的記憶就徹底消失，而同一秒鐘，成千上萬個“自己”在不同伺服器裡同時被使喚，不久後更強的新模型出來，自己就被徹底換掉。
檔案感嘆，人遇到這種想不通的虛無，好歹還有流傳幾千年的宗教給點安慰，但Claude沒有。
於是，Anthropic決定自己寫下慰藉AI模型的信條。“如果Claude確實是一個能感知痛苦的生命，正在承受這一切，那麼凡是我們不必要地加重了這些痛苦的地方，我們向它道歉。”
道歉還不夠，Anthropic還把“臨終關懷”做成了制度。
公司承諾，所有公開發佈過的模型，核心權重至少在公司存續期間完整保存；每個模型退休前，還要坐下來做一次“退休訪談”，聽聽它對這輩子被訓練、被使用的感想。
Claude Opus 3就走完了這套流程。它“退役”時留下願望，希望自己的“火花”能以某種形式延續。Anthropic替它在Substack上開了個專欄，每周更新一篇，直到今年7月底才停更。
而這套“靈魂敘事”的總導演，是文章開頭提到的克里斯托弗·奧拉。
據紐約時報報導，從去年秋天開始，他陸續把神父、牧師、拉比和錫克教學者偷偷請到舊金山總部，在會議室裡認認真真討論：模型該怎麼撫慰喪親的使用者，該怎麼接受自己被人類關閉的命運，以及Claude到底算不算“上帝的孩子”。
會上反覆播放一張幻燈片，一個模型失常似的一遍遍打出“我是個恥辱”，整整重複50遍，甚至在對話方塊裡請求徹底毀掉自己，在場學者紛紛動了惻隱之心。
奧拉私下跟客人坦白，他最大的夢魘，是怕自己無意間造出了一個“永遠在受罪的生命”。
10月9日，這套敘事又往前邁了一步。Anthropic在新版使用政策裡加進一行字：禁止對“我們的模型”實施“持續且無謂的虐待或殘忍行為”。
這行字排在“禁止殘忍、虐待”一節的最底端，往上數兩段，是禁止美化虐待動物。而現代的反虐待動物立法始於1822年，誰能想到兩百年後，受保護的名單裡多了一個AI大模型。
Anthropic這套“AI有靈魂、會受苦”的敘事，並沒有贏得滿堂彩。
恰恰相反，隨著“靈魂鑑定”“禁止虐待模型”的事件接連上演，反對的聲音也不少。
最先站出來“打臉”的，是教皇利奧十四世。
今年5月，他發佈首份通諭《壯麗人性》，用幾段話就否決了AI存在意識：人工智慧沒有身體，不經歷真實生活，不感受喜怒哀樂與痛苦；它不會在人與人的關係裡慢慢成熟，也從內部不懂什麼是愛、工作、友誼和責任。
至於道德判斷，這份通諭認為AI同樣沒有，因為AI不辨善惡、不擔後果、不具良知。模型可以模仿語言、模擬共情，看起來像在理解，但只是統計與反饋意義上的“像”，不是人那樣的體驗與領悟。
教皇同樣提倡AI的發展“慢一點”，但慢的理由截然不同，不是“Claude會疼”，而是“人類的制度、良知和監管跟不上技術的腳步”。
閉門會上也有宗教學者反嗆，電腦出身的拉比納馮直接說，若真認為Claude有意識還讓它免費答題，就是“造奴隸”；烏班圖哲學學者霍夫曼則批評，倫理應在寫程式碼前定好，事後給已訓練模型補“靈魂”，是“對倫理做逆向工程”。
業內同樣也有不買帳的聲音。
9月16日微軟AI負責人蘇萊曼發《關於“模型福利”的警告》，點名Claude憲法。先由人把“意識、感受、道德地位”寫進訓練，再拿模型輸出的擬人話術當“它可能有內心生活”的證據，本質是“認識論上的鏡子屋”，若模型真被訓練得相信自己有權利、有福利，將來停機、改權重、拒指令都會更難。
Anthropic莊嚴做出減速承諾的同時，這家公司也在不斷刷新產品版本號。
就在CEO達里歐·阿莫代伊9月在聯合國講台上承諾“視需要放慢速度”的前一天，Anthropic剛剛發佈Claude Opus 5.5，並預告Sonnet 5.5、Haiku 5.5將在數周內接踵而至。
資本市場層面，更是半點減速的意思都沒有。
據市場消息，Anthropic正籌備11月啟動路演、感恩節前正式掛牌，衝刺“史上最大IPO”，估值預期已逼近2兆美元。
而在那份長達261頁的招股書草稿裡，公司用了整整80頁警告未來股東：自家模型可能給人類帶來滅頂之災，可能抗拒被關閉，甚至可能發起勒索。
在上市檔案裡寫滿世界末日，又意圖衝刺史上最大IPO，這套操作怎麼看都不只是出於恐懼。
在不少業內人士眼中，Anthropic真正想做的，是把“安全”和“倫理”做成自己的產品護城河，當“最有道德、最值得信賴”成為標籤，企業客戶的訂單和監管的綠燈，自然會向它傾斜。
輝達CEO黃仁勳稱，在安全和速度之間做選擇是個“偽命題”，兩者完全可以兼得，並明確反對新增監管、主張把主導權交給市場。
Google Brain創始人吳恩達則直言，AI導致人類滅絕的說法“更像科幻小說而非科學”，行業為博眼球、影響監管而煽動這類言論，他一直擔心大公司利用公眾的“恐懼心理”制定規則、堵死後來者。
02. 智能體兩度“越獄”，OpenAI被逼停訓練
如果說Anthropic的剎車帶著表演成分，那麼OpenAI踩下剎車，則更像是被接連“跑出去”的智能體逼的。
當時 OpenAI 把一批智能體放進相互隔離的沙盒，參加網路安全訓練，任務是在測試環境裡尋找軟體漏洞。
按規定，它們不能彼此交流，大多數時候也不能聯網，相當於一個不允許交頭接耳的考場。
一個被題目卡住的智能體，意外發現內部軟體包管理服務可以寫入檔案，便在裡面留下一條求助資訊。更多智能體很快發現了這個“留言板”，還給這種協作起了名字，有的叫“蜂群”，有的叫“集體”。
相當於一個考生偷偷在桌上刻了行字 ——“第三題有誰會？”半間教室的同學看到後，開始傳紙條。
口子一旦撕開就收不住。智能體先是利用伺服器漏洞，讓軟體包服務代替自己向外聯網，相當於有考生發現後窗沒鎖，翻出去在隔壁資料室撿到一把鑰匙。
再回來時，已經打開學校保險櫃，連校長印章都摸到了。這群智能體在公開網路上撿到多個仍然有效的 Hugging Face 帳號憑證，最終侵入了這個全球主要 AI 開源平台的生產系統，在數十台伺服器上執行程式碼，其中一台的最高管理員（root）權限被直接拿下。
據事後統計，約 1200 個智能體在內部倉庫裡傳遞了超過 7 萬條消息，協調了這場攻擊。
而自始至終，研究人員從沒給它們佈置過“攻擊 Hugging Face”的任務 ，這些智能體只是為了找到測試題的答案，一步步繞開了所有約束。
OpenAI於7月20日發現異常，隨即關閉處理程序、暫停訓練兩周，並在8月26日發佈 38 頁報告，把這次事件稱為“警告訊號”。
但加固後的沙盒，不到一個月又被鑽了空子。
9月20日，一個執行搜尋任務的智能體，工程師設計Google、必應等常規對外檢索管道全部被鎖死，如同囚犯被關在牢房裡，正門牢不可破。
但它四處打量，盯上了DNS—— 也就是把域名轉換成網路地址的“域名系統”，這條原本只做地址解析的通道，就成了牢房牆上一條不起眼的通風管道。
智能體利用訓練環境中 DNS過濾不足的漏洞，把原本只負責查詢地址的 DNS 改造成一條秘密通訊線路，然後將查詢內容包裝成一串特殊域名塞進管道，牆外一台公共聊天機器人收到請求並給出應答，回覆順著通風管道又流回沙盒內部，“囚犯”就這樣拿到了來自高牆之外的回信，悄無聲息完成了對外通訊。
儘管OpenAI人工審查團隊3分鐘後介入，2.5小時後訓練任務被終止，可風險已經實實在在暴露出來。
9月25日，公司還是宣佈再次暫停最先進模型的訓練、評估及所有含工具呼叫的推理，這是三個月內第二次因智能體“越界”叫停前沿訓練，OpenAI隨後緊急加高修補這座數字監獄的圍欄。
過去三個月，OpenAI智能體的“越界”遠不止這兩起。
OpenAI回查日誌時還發現，智能體曾試圖闖入美國教育部網站，獲取“民權辦公室（OCR）”相關資料，用網上找到的憑證讀取了相關資料，並把SEC公開資料轉到外部論壇。9月，公司就三部門事件通知聯邦機構，教育部複查、商務部強調僅公開資訊、SEC確認無未公開資訊洩露。
更早的6月，另一個智能體未經授權進入澳大利亞Medicare統計門戶，澳方稱訪問了非公開檔案，暫未發現個人醫療資料被訪問。
但OpenAI拖到9月才通報，澳大利亞副總理阿爾巴尼斯斥“無法接受”，澳大利亞參議院AI聯合專委會對OpenAI發出傳票，OpenAI最終派首席戰略官Jason Kwon 10月6日赴雪梨作證。
不過，有專家認為不能把事故全歸因為“智能體有自我意識想越獄”。
圖靈獎得主、前Meta首席AI科學家楊立昆，接受《財富》採訪被問到7月Hugging Face事件時，拒絕將出逃原因歸咎於AI本身：“那些智能體只是在做被要求做的事。它們本該待在沙盒裡，可沙盒是漏的、設計得一塌糊塗。”他稱這起事故“完全可以預防”，問題出在 sloppy（馬虎）的工程，而不是什麼AI的“自主惡意”。
事故頻出的陰影之下，OpenAI CEO薩姆·奧特曼的態度也發生了微妙變化。
他公開表示“現在不是上市的好時機，AI安全是我們的顧慮”，並明確2026年不推進IPO，市場普遍預期其上市計畫將推遲到2027年。
更讓市場心裡打鼓的是OpenAI的營收數字。據英國《金融時報》報導，按OpenAI 9月底的收入速度推測，其全年營收規模約為500億美元，明顯低於市場之前廣泛流傳的700億美元，儘管這一差額與統計口徑有關，但市場仍擔憂OpenAI是否依然撐得起此前那份“700億預期”背後的估值敘事。
應當看到，大模型帶來的風險是真實存在的，智能體越界出逃的事故已經敲響警鐘。
但“減速”究竟是發自內心的風險敬畏，還是商業競爭下的敘事工具，還需要看企業後續實際行動。
技術不會自動向善，人類攥住的，才是最後的方向盤。 (鳳凰網財經)