下一個Transformer可能又被Google做出來了

如果把現在的頂尖大模型比作一個人，那它一定患有一種罕見的神經系統疾病：順行性遺忘症（Anterograde Amnesia）。

這是 Google Research 研究員、最近最受關注的一篇論文《Nested Learning: The Illusion of Deep Learning Architectures》第一作者 Ali Behrouz 拋出的一個讓所有人陷入沉思的比喻。

看過諾蘭的電影《記憶碎片》（Memento）的人更能理解這種絕望。這種病症的患者擁有完好的“過往記憶”（Retrograde Memory），他們記得發病前的一切，我是誰，我來自那裡，我有什麼技能。但對於發病後發生的所有事情，他們永遠無法形成“新的長期記憶”。他們只能活在短暫的“當下”，幾分鐘後，一切就會被重設。

這就是現在 AI 模型的真實寫照。

無論Gemini或是ChatGPT多麼博學，如果不聯網搜尋，它們都只能依靠預訓練階段獲得的出廠知識（也就是“發病前”的記憶）來回答問題。而在對話窗口裡，無論你教給它多少新公司的業務邏輯，或者糾正了它多少次程式碼錯誤，這些資訊都只停留在短暫的上下文窗口裡。

一旦窗口關閉，或者視訊記憶體被重設，它就像金魚一樣，把剛才發生的一切忘得乾乾淨淨 。下一次見面，它依然是那個出廠時的它，絲毫沒有因為與你的互動而變得更聰明一點。

為什麼擁有超級算力的 AI，卻治不好這個健忘症？

長期以來，行業有一種二元對立的看法，認為 AI 的“架構”（Architecture）和“最佳化器”（Optimizer）是兩個截然不同的物種。

架構是骨架（如 Transformer），它是靜態的，出廠即凍結，負責“推理”。“最佳化器”是雕刻刀（如 Adam、SGD），它是動態的，只在工廠裡用來訓練模型，出廠後就被沒收了。

我們習慣了把 AI 當作一個靜態產品，訓練好了，打包發佈，使用者只管用。

但在 Google 最新發佈的 52 頁硬核論文《Nested Learning: The Illusion of Deep Learning Architectures》（巢狀學習：深度學習架構的幻覺）中，研究團隊試圖告訴我們，這其實是一種幻覺，是我們人為製造的自我設限。

如果架構和最佳化器本質上是同一個東西呢？如果並沒有所謂的“訓練階段”和“推理階段”之分，一切都只是不同頻率的“記憶壓縮”過程呢？

基於這個大膽的假設，Google 團隊提出了一個名為 HOPE 的新框架。他們並沒有簡單地堆砌參數，而是試圖從底層邏輯上重構 AI 的“大腦結構”，讓它不再是一個出廠即固化的工具，而是在每一次互動中都能微調自己、擁有“快慢記憶系統”的動態生命體。

而這篇論文也被不少人稱為“Attention Is All You Need V2”，這篇論文提出的Transformer 架構成就了今天大模型的火熱，而HOPE讓人們期待它成為下一個Transformer 等級的創新。

拆解“幻覺”：被遺忘的中間地帶

要治好“健忘症”，我們首先得看看現在的 AI 大腦裡到底裝了什麼。

在 Ali Behrouz 的解構下，目前的 Transformer 架構呈現出一種極端的“精神分裂”狀態。如果不使用複雜的數學術語，我們可以把它的內部元件看作兩個極端：

一個是“極快”的 Attention（注意力機制）。它時刻處於亢奮狀態，對你輸入的每一個字（Token）都進行瞬時的計算和響應。它的更新頻率幾乎是無限的，這讓模型擁有了所謂的上下文學習能力（In-Context Learning），你剛說的話，它馬上就能用。

另一個是“極慢”的 MLP（前饋神經網路）。它是模型的長期記憶庫，承載了絕大多數參數。但它的更新頻率是 0。這部分像一塊凍結的硬碟，除非你耗費巨資進行全量微調（Fine-tuning），否則它永遠不會改變。

在這兩者之間，存在著一個巨大的真空地帶。

這就是“幻覺”的根源。人類的大腦並不是這樣工作的。我們的記憶是一個連續的頻譜，我們有幾秒鐘的感官記憶，有幾小時的工作記憶，也有幾天甚至幾年的長期記憶。我們的腦突觸並不是非黑即白，而是以各種不同的頻率在不斷微調。

為了填補這個真空，Google 團隊提出了 Nested Learning（巢狀學習） 的概念。我們可以把它想像成一套精密咬合的齒輪系統”：

• 最外層的小齒輪轉得飛快（處理當前的對話）；
• 中間層的齒輪轉得稍慢（記住過去幾小時或幾天的任務）；
• 最裡層的大齒輪轉得極慢（沉澱世界觀和基礎知識）。

為了證明這種統一性在生物學上的合理性，他甚至在論文中引用了一個非常硬核的神經科學案例，半球切除術（Hemispherectomy） 。

醫學發現，即使切掉人類的一半大腦，通常是為了治療嚴重癲癇，剩下的一半腦組織也能通過重組資源，接管幾乎所有功能，人依然能正常生活。這說明大腦並沒有什麼“專門負責 Attention 的模組”或“專門負責 MLP 的模組”，神經組織是通用的、可復用的。

同樣的道理，AI 的“架構”和“最佳化器”本質上也是同一種東西，只是處於不同的巢狀層級：

• 傳統的模型記憶的是“資料”（Token）；
• 最佳化器（如 Adam）記憶的是“梯度”（Gradient）。即“我上次在這個地方犯了錯，下次要修正” 。

既然都是在“記憶資訊”並“更新狀態”，為什麼我們要把它們人為地割裂開來？也許我們不需要在這個二元對立的框架裡修修補補，可以直接設計一個全頻率覆蓋的動態系統。

HOPE 的三層設計

基於 Nested Learning 的理論，Google 團隊交出了一份具體的工程答卷，還起了一個充滿寓意的名字：HOPE (High-order OPtimization and Expressivity)。

如果說傳統的 Transformer 是一個只有短期記憶的“單核處理器”，那麼 HOPE 更像是一個符合神經科學原理的“雙重記憶大腦”。它通過兩個元件，復刻了類似生物大腦中海馬體（Hippocampus）與大腦皮層（Cortex）的協作機制 。

1. 快系統：像海馬體一樣敏銳的 Titans

在 HOPE 的最前端，是處理即時資訊的“快系統”。這裡 Google 使用了論文一作 Ali Behrouz 之前的另一項成名作Titans。

你可以把 Titans 理解為一種“超級 RNN”。它就像人類靈活的海馬體，負責快速捕捉和編碼當下的新知。傳統的 AI 模型在處理新資訊時是被動的，但 HOPE 裡的 Titans 模組具有極強的“主觀能動性”，它是 Self-Modifying（自我修改） 的。

它不僅是在讀取資料，更是在根據當前的上下文，即時生成自己這一步學習所需要的 Key、Value，甚至自己決定這一次記憶的 Learning Rate（學習率） 。這意味著，它能敏銳地判斷眼前資訊的重要性，快速形成短期記憶。

2. 慢系統：像皮層一樣厚重的 CMS

這是整個架構中最具顛覆性的設計。HOPE 引入了 Continuum Memory System (連續記憶系統，CMS)。CMS 就像是厚重的大腦皮層，負責將經過篩選的知識長久地刻印在神經元中。

在 CMS 中，模型內部的 MLP（前饋網路）不再是鐵板一塊，而是被切分成了不同的層級，就像不同轉速的齒輪：

• 高頻層： 可能每處理幾百個字就更新一次，用於捕捉剛才對話裡的新定義。
• 中頻層： 可能每處理幾萬字更新一次，用於適應一個新的項目背景。
• 低頻層： 幾乎不更新，用於穩固語言的語法和常識 。

這種設計避免了災難性遺忘。當新知識湧入時，它會被優先儲存在高頻層，而不會去驚擾低頻層裡的舊知識。隨著時間的推移，真正重要的資訊才會像沙漏裡的沙子一樣，慢慢沉澱到深層。

3. 最佳化器也有了“記憶”

Google 的激進之處在於，他們不僅改造了大腦（架構），還改造了老師（最佳化器）。

為了配合這就這套複雜的系統，他們設計了一個名為 M3 (Multi-scale Momentum Muon) 的新最佳化器。

既然模型分了層，最佳化器為什麼不能分層？普通的 Adam 最佳化器只看眼前的梯度（Local Structure），容易陷入短視。而 M3 最佳化器本身也被設計成了巢狀結構，它有一層“快動量”負責看腳下的路，還有一層“慢動量”負責看遠處的山脈（全域 Loss Landscape）。

這意味著，連負責訓練的演算法本身，都擁有了更深遠的記憶力。

實驗資料顯示，這種設計在 ImageNet 和大語言模型訓練上，不僅收斂更快，而且最終效果更好。

4. 給工程師的“後悔藥”

對於工業界的開發者來說，HOPE 最迷人的地方可能不是從頭訓練一個新模型，而是它提供了一種“原地改造”的可能性。

Ali Behrouz 在分享中提到了一個名為 Ad-hoc Level Stacking 的技巧，你不需要拋棄手裡現有的 Llama 或 Qwen 模型。你可以直接拿來一個預訓練好的模型，人為地將它的不同層指定為不同的“更新頻率”，把淺層設為高頻，深層設為低頻 。

這就像是給一輛已經出廠的舊車，通過刷新韌體就解鎖了自動駕駛功能。這一特性，讓 Nested Learning 成為了一個工程方案。

從“靜態產品”到“動態生命”

我們把視角從程式碼行中抽離出來，會發現 Nested Learning 真正的野心，不在於刷榜，而在於試圖完成一次 AI 領域的範式轉移。

在 NeurIPS 的分享最後，作者提出了一個發人深省的觀點，“深度（Depth）也許不再是唯一的答案。”

過去十年，我們一直在堆疊物理層數，把神經網路做得越來越深。這種暴力美學確實帶來了湧現能力，但它也製造了一個巨大的“幻覺”，誤以為智能來源於靜態的深度。而忽略了真正的深度可能來自於巢狀的最佳化。

更進一步，論文中提出了一個極其激進的定義：“預訓練本身，其實就是一種超長上下文的 In-Context Learning。”

這句話消解了 AI 領域最大的邊界。在 Nested Learning 的願景裡，沒有所謂的“訓練結束”這一天。模型在與使用者互動的每一秒，都在以某種微小的頻率更新自己的突觸。它不再是一個冰冷的、出廠即固化機器，而是一個在資料流中不斷呼吸、代謝、進化的有機體。

這或許才是通往 AGI更本質的道路，智能不是被灌輸的，而是在互動中生長的。

當然，任何試圖顛覆範式的理論，註定會伴隨著巨大的爭議。這圍繞這篇論文討論區裡，聲音很多樣。

樂觀者將其視為 "Attention Is All You Need V2"。社區對於自我修改這一概念尤為著迷。長期以來，我們一直詬病 LLM 只是“統計學的鸚鵡”，而 HOPE 讓 AI 第一次擁有了某種“元認知”能力，即學習如何學習。這種從被動擬合到主動適應的跨越，被認為是 AI 產生質變的關鍵。

實用主義者則看到瞭解決災難性遺忘的曙光。如果這一架構能落地，未來的企業級 AI 將不再需要為了更新一點點業務知識而耗資百萬進行全量重訓，AI 可以在業務流中自然地學會新規章，同時不忘記舊制度。這是對降本增效是最直接的。

質疑者也大有人在。比如有評論指出，論文中將 SGD（梯度下降）強行解釋為“聯想記憶”的數學證明雖然精彩，但更多依賴直覺，缺乏嚴謹的收斂性保障。更有工程師擔心，這種複雜的“巢狀最佳化”會讓調參難度呈指數級上升，畢竟，調一個 Adam 已經夠頭疼了，現在我們要同時調好幾個不同頻率的“大腦”。

但無論如何，Google 這一次沒有在參數量上卷，而是在“學習的本質”上開了一槍。

它用一種近乎哲學的方式提醒我們，對於一個真正的智能體來說，存在就是壓縮，活著就是學習。 (矽星人Pro)