除了A廠的fable5.1發佈以外，“recurrent depth”（中文常譯為“循環深度”或“循環Transformer”）技術爆火出圈。這是一個極其強大的技術但是也是LLM徹底走向黑盒危險的技術！
導火線是The Information記者Stephanie Palazzolo的爆料：OpenAI即將推出的Astra模型採用了名為“recurrent depth”的新推理方法。該技術有助於降低成本、提升性能，但會讓模型的思考過程更難被監控，從而引發AI安全與可觀測性擔憂。
OpenAI尚未公開確認架構細節。其首席科學家Jakub Pachocki隨後發帖澄清，試圖避免“因混亂報導引發不可監控競賽”，並強調當前前沿模型（包括Astra）的計算圖深度最多約為GPT-4的兩倍，鏈式思維（Chain-of-Thought, CoT）監控仍是核心研究重點。儘管如此，討論已覆蓋技術原理、效率優勢與安全風險。
很巧的是字節和清華竟然今天也上線了一篇相關論文：
論文標題：《SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers》
機構：清華大學、字節跳動 Seed 團隊、TokenWave.AI、M-A-P
Paper：
https://arxiv.org/abs/2609.01343
這篇論文恰好解決了一個行業長期以來的爭論：過去的循環模型大多隻對齊了參數量，卻忽略了每次循環額外增加的 FLOPs（算力）和 KV Cache 視訊記憶體開銷，存在“算力不公平”。清華與字節團隊在 FLOPs、總參數量、KV Cache 三者完全嚴格對齊 的條件下，將循環架構擴展到了 54B 非嵌入參數 的規模，並給出了嚴謹的 Scaling Law。
以下我從技術本身、相關論文、Astra相關資訊及影響展做了一下小的梳理。
一、技術本身：什麼是循環深度？
循環深度（recurrent depth，也常稱looped transformer或depth-recurrent transformer）的核心思想是：解耦參數量與計算深度。傳統Transformer通過堆疊獨立層增加深度，參數量隨之線性增長；循環深度則讓同一組（或少數幾組）共享權重的層在潛在空間中多次迭代，從而在測試時動態增加“思考”步數，而不顯著增加參數或KV快取。
代表性工作是Jonas Geiping等人2025年的論文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》（arXiv:2502.05171）。他們訓練了約3.5B參數的模型Huginn-0125（在Frontier超算上用約8000億token預訓練），架構大致分為三部分：
Prelude（前奏塊）：若干層將輸入token嵌入到潛在空間。
Recurrent Core（循環核心）：共享權重的Transformer塊（論文示例中約4個塊、約1.5B參數），在潛在狀態上迭代R次。每次迭代注入輸入嵌入，並更新隱藏狀態。
Coda（尾聲塊）：若干層將最終潛在狀態解碼為輸出機率。
訓練時隨機採樣迭代次數；測試時可根據任務需要增加R（例如從1到32甚至更高）。這相當於在潛在空間中進行“連續思考”，而非必須通過長鏈式思維把中間步驟全部文字化。
主要優勢：
測試時計算擴展（test-time compute scaling）：在潛在空間中投入更多FLOPs即可提升推理表現，尤其在數學、編碼等任務上。論文顯示，3.5B模型在增加循環次數後，可達到相當於約50B參數固定深度模型的計算負載，GSM8K等基準顯著提升。
參數與記憶體效率：相同參數下獲得更深有效深度；KV快取和通訊開銷相對更低。
算力真實節省（清華/字節 SMELT 驗證）：即使在嚴格控制 FLOPs、參數與 KV 快取三者完全對齊的嚴苛條件下，清華與字節團隊證明循環架構依然完勝基線模型，其 Scaling Law 顯示在計算最優前沿上能直接節省 6.8%–18.0% 的訓練算力，且優勢隨模型規模擴大而進一步增加。
無需專門長CoT資料：可直接在普通預訓練資料上學習可變計算預算。
對長文字與結構化任務具有天然偏好：清華字節的研究發現，循環帶來的增益在程式碼（Code）上最為顯著（CE Gain 高達 20.4%），長文字上的收益是短文字的 1.52 倍，且 In-Context Learning（少樣本能力）隨提示示例增加而呈現滾雪球式提升。
殘差縮放）、自適應退出、門控循環、專家混合深度等變體。清華與字節團隊的 SMELT 進一步摸索出了最佳配方：只循環中間 50% 的層、循環 2 次（Loop Twice）、配合 MoE 架構擴充專家。該領域在2025–2026年已形成活躍研究線，被視為繼“更多參數”和“更長文字推理鏈”之後的第三條擴展軸：更多內部潛在計算。
二、OpenAI Astra與循環深度的關聯
Astra是OpenAI下一代旗艦模型（常被關聯為GPT-6等級或後續），在網路安全能力上被評估達到“Critical”閾值，能更自主地發現與利用漏洞，因此OpenAI加強了安全控制、限制公開版本的高級網路能力，並曾暫停部分訓練活動。
The Information援引知情人士稱，Astra採用了循環深度技術：同一組Transformer層可反覆計算隱藏狀態，部分推理髮生在內部潛在空間，而非完整呈現為人類可讀的思維鏈。這有助於提升token效率與能力（OpenAI稱Astra在ExploitBench等基準上表現突出，且比前代更token高效），但會模糊思考過程。
OpenAI官方未確認“基於Geiping論文”或詳細架構。Jakub Pachocki強調：
當前前沿模型（含Astra）的計算圖深度與GPT-4相差不超過約2倍。這恰好與清華/字節論文中發現的“循環 2 次（2×）處於算力效益最優點，循環 3~4 次反而收益遞減”的規律高度吻合。
OpenAI自第一代推理模型起就重視並使用CoT監控，認為它有助於觀察對齊泛化。
CoT監控本身較脆弱，且趨勢並不樂觀，但公司將其作為核心研究目標，並採取了限制措施以保持可觀測性。
一些分析指出，即使目前循環次數被限制（“撥盤”設得較低），架構本身可能使未來更容易大幅增加不透明深度。安全研究者（如Ryan Greenblatt等）擔憂這會削弱對內部推理的監控能力，尤其是在近期Hugging Face等安全事件後，監控依賴可讀思維鏈的重要性更凸顯。
三、安全與可監控性爭議
循環深度的最大爭議點在於可觀測性（monitorability）：
傳統CoT將推理步驟外化為文字，便於人類或監控系統檢查。
循環深度允許在啟動空間中進行多步精煉，再輸出最終token。深層迭代可能產生類似“neuralese”（神經語）的不透明表示，使外部難以還原真實思考路徑。
從機制層面看，清華與字節的研究揭示了模型在第二遍循環時的真實運作：第二次遍歷時，模型會極大削弱對開頭無意義 BOS token 的注意力匯聚（Attention Sink），並將注意力大幅重新導向到關鍵的上下文線索中，同時殘差更新幅度大幅增強。這種在潛空間內悄無聲息完成的“重新審題與線索檢索”，雖然帶來了極高的推理效率，但因為完全繞開了自然語言輸出，外部監控系統根本無法捕捉其內部的計算與決策軌跡。
相關安全論文（如多家機構合著的Chain-of-Thought Monitorability工作）已警告：依賴可讀CoT的窗口是脆弱的。若模型越來越多地在潛在空間中“思考更久”，這一窗口會進一步縮小。
支持者認為這只是效率提升，當前深度增幅有限，且OpenAI已主動限制並持續投入監控研究。批評者則擔心這會開啟“向不可監控競賽”的方向，尤其當模型具備更強自主代理與網路安全能力時。
寫在最後
循環深度通過在共享層上迭代，實現了“用計算深度換參數規模”的高效推理範式。它讓模型能在輸出下一個token前在潛在空間中多“想幾遍”，顯著提升複雜任務表現，同時降低記憶體與頻寬成本。Geiping等人的Huginn等原型以及清華/字節最新的 SMELT 規模化研究，都從理論與工程上證明了其極高的可行性與算力節省潛力。
這一方向可能成為未來推理模型的重要支柱，與文字CoT、參數擴展平行。
Astra接近發佈，很快我們就會知道OpenAI使用這種技術到什麼地步了，現在很多網友都在罵sam altman 突破了一個關鍵安全紅線。(AI寒武紀)