2 月18 日，Kimi 和DeepSeek 同一天發布新進展，分別是MoBA 和NSA，二者都是「注意力機制」（Attention Mechanism）的改進。

今天，MoBA 的一位主要研發同學Andrew Lu 在知乎發帖，自述研發過程的三次踩坑，他稱為「三入思過崖」。他在知乎的簽名是「新晉LLM 訓練師」。

這條答案下的一個評論是：“從開源論文、開源論文出發，現在已經進化到開源思維鏈了嘛。”

注意力機制之所以重要，是因為它是目前大語言模型（LLM）的核心機制。回到2017 年6 月那篇開啟LLM 革命的Transformer 八子論文，標題就是：Attention Is All You Need（注意力就是你所需要的一切），該論文被引用次數至今已達15.3 萬。

注意力機制能讓AI 模型像人類一樣，知道在處理資訊時該「重點關注」 什麼、「忽略」 什麼，抓住訊息中最關鍵的部分。

在大模型的訓練階段和使用（推理）階段，注意力機制都會發揮作用。它的大致工作原理是，當輸入一段數據，例如“我喜歡吃蘋果”，大模型會計算句子中每一個字（Token）與其他單字的關係，從而理解語義等資訊。

而當大模型需要處理的上下文越來越長，標準Transformer 最初採用的Full Attention（全注意力機制）對計算資源的佔用變得不可忍受，因為原初流程是，需要全部計算所有輸入詞的重要性分數，再加權計算後得到那些是最重要的詞，它的計算複雜度會隨文本變長而平方級（非線性）增長。如MoBA 論文的「摘要」 部分所寫：

“傳統注意力機制中固有的計算複雜性的平方增加，帶來令人望而卻步的計算開銷。”

同時，研究者們又追求大模型處理的脈絡能夠長──多輪對話、複雜推理、記憶能力……這些設想中AGI 應該具備的特性都需要更長長長的脈絡能力。

如何找到一個既沒那麼佔用計算資源和內存，又不損失模型性能的注意力機制優化方法，於是成為大模型研究的重要課題。

這是數家公司將注意力交匯到「注意力」 的技術背景。

在DeepSeek NSA 和Kimi MoBA 之外，今年1 月中旬，另一家中國大模型新創公司MiniMax 也在其首個開源模型MiniMax-01 中大規模實現了一種新的注意力機制。 MiniMax 創辦人閔俊傑當時告訴我們，這是MiniMax-01 最主要的創新點之一。

面壁智慧共同創辦人、清華大學電腦系副教授劉知遠的團隊也在2024 年發表InfLLM，其中也涉及一種稀疏注意力改進，該論文被NSA 的論文引用。

在這幾個成果中，NSA、MoBA、InfLLm 裡的注意力機制都屬於「稀疏注意力機制」（Sparse Attention)；而MiniMax-01 的嘗試則主要是另一個方向：「線性注意力機制」（Linear Attention)。

SeerAttention 作者之一，微軟亞研院高級研究員曹士傑告訴我們：總體來說，線性注意力機制對標準注意力機制的改動更多、更激進，想直接解決隨文本變長，計算度平方爆炸（所以是非線性的）的問題，可能的一個代價是，會損失對長上下文的複雜依賴關係的捕捉；稀疏注意力機制是利用注意力集中的一個固有註意力的方式。

同時在此推薦曹士傑老師在知乎上關於注意力機制的高讚回答：https://www.zhihu.com/people/cao-shi-jie-67/answers

（他回答了「梁文鋒參與發表的DeepSeek 新論文NSA 注意力機制，有那些資訊值得關注？會帶來那些影響？」這個問題。）

MoA（Mixture of Sparse Attention） 的共同一作，清華大學NICS-EFC 實驗室博士傅天予說，在稀疏注意力機制的大方向下：「NSA 和MoBA 都引入了動態注意力方法，即能動態選擇需要計算細粒度注意力的KV Cache 塊，相比一些使用靜態方法的注意力方法，即能動態選擇需要計算細粒度注意力的KV Cache 塊，相比一些使用靜態方法的注意力模型，這都是注意力模型，這都是了推理模型，這僅引入了這兩個性能模型，這都是注意力模型，這都是注意力模型，這僅引入了這兩個性能模型，這都是注意力模型的注意力模型，這都是注意力模型。

（註：KV Cache 區塊是儲存先前計算的Key 標籤和Value 值的快取；其中Key 標籤指注意力機制相關計算中，用於標識資料特徵或資料位置等資訊的識別標籤，以便在計算注意力權重時，能與其他資料比對和關聯，Value 值則與Key 標籤對應，通常包含了實際要處理的資料內容，如能與其他資料相符和關聯，Value 值則與Key 標籤對應，通常包含了實際要處理的資料內容，如同短語的語意向量等資訊，如同詞向量或字詞向量等資訊，如同短語或短語的語意向量。

同時，這次月之暗面除了發布詳細的MoBA 技術論文，也在GitHub 該專案網站上發布了MoBA 工程代碼，該套代碼已在月之暗面自己的產品Kimi 中線上使用了一年多。

* 以下為Andrew Lu 在知乎上的自述，已獲得作者授權。原文中有多處AI 術語，（）中灰色文字解釋部分均為編者註。原貼連結： https://www.zhihu.com/people/deer-andrew

應章老師（清華大學助理教授章明星）邀請，來答一下之前做MoBA 起起伏伏的心路歷程，我戲稱為「三入思過崖」。（Andrew Lu 回答的問題是：「如何評估Kimi 開源的稀疏注意力框架MoBA？與DeepSeek 的NSA 相比，二者各有那些亮點？」）

MoBA 這個計畫開始得非常早，在2023 年5 月底月之暗面剛建立不久的時候，入職報到當天就被Tim （月之暗面聯合創始人周昕宇）拉到了小房間裡，和裘老師（浙江大學/ 之江實驗室裘捷中，MoBA idea 的提出者）以及裘老師（浙江大學/ 之江實驗室裘捷中，MoBA idea 的提出者）以及Dylan （月之暗面研究員）。這裡首先要感謝一下Tim 的耐心和教導，對一個LLM 新手給予厚望並樂意培養，研發各種上線模型和模型相關技術的諸位大佬裡面，很多人和我一樣基本是從零開始接觸LLM。

當時業界普遍水準也不是很高，大家都在4K 預訓練（模型能處理的輸入輸出長度約在4000 個Token，幾千個漢字），項目一開始叫16K on 16B，意思是在16B （模型參數160 億）上做16K 長度的Pre-train 16B （模型參數160 億）上做16K 長度的Pre -train 15 月很快就會變成這個需求。這也是MoBA 設計時的第一個要求，能From Scratch （從頭開始）快速的訓練出一個能支援128K 長度下的模型，此時還不需要Continue Training （持續訓練，在已訓模型基礎上繼續訓練）。

這裡也引申出一個有趣的問題，23 年5/6 月的時候，業界普遍認為訓長得長，端到端訓練長文本（直接用長文本訓練模型）的效果好於訓練一個較短的模型再想辦法搞長它。這種認知到23 年下半年long Llama （Meta 開發的、支持長文本處理的大模型）出現的時候才發生了轉變。我們自己也進行了嚴格的驗證，實際上短文本訓練+ 長度激活具有更好的token efficiency （每個token 貢獻的有效信息量提升，意味著模型能用更少的token 完成更高質量的任務）。自然MoBA 設計中的第一個功能就成了時代的眼淚。

在這個時期，MoBA 的結構設計也是更為「激進」 的，相較於現在的「極簡化」 結果，初提出的MoBA 是一個帶cross attention （處理兩段不同文本數據之間關係的注意力機制）的兩層注意力機制串行方案，gate （控制輸入數據如何在各個專家網絡之間分配權重）本身是一個無參的結構（Transformer參數tention 以及對應的參數（可以更好地記住歷史資訊）。此時的MoBA 設計已經結合了後面為大家熟知的Context Parallel 思想（完整的上下文序列被存放到不同節點上，在需要計算的時候才集中在一起），我們將整個上下文序列平鋪在數據並行節點之間，將每個數據並行節點內的context 看成是一個MoE （Mixture of Experts，將專家混合系統）中的 % 將專家混合到experttions，將專家混合到 ex.通信回來。我們將fastmoe （一種早期MoE 訓練的框架）的工作整合進了Megatron-LM（來自Nvidia 的現在通用大模型訓練框架）來支援expert 間通訊能力。

（編者註：MoBA 的靈感來自當前主流的大模型MoE 結構。MoE 指大模型工作時，每次只激活部分專家的參數，而不是全部，從而節省算力；MoBA 的核心思路是「每次只看最相關上下文，而不是全部上下文，從而節省計算和成本」。）

隨著時間推進到23 年8 月初，主模型Pre-Train 已經訓練了大量token，再來一次成本不低。顯著改變了結構並增加了額外參數的MoBA 至此第一次進入思過崖。

一個非常簡單的MoBA v0.5 的示意圖

History Tokens（歷史標記）－在自然語言處理等場景中，代表先前處理過的文本單元集合。

Gate（門）－在神經網路中，用來控制資訊流動的結構

Input（輸入）－模型接收的資料或訊息

V（Value）－在註意力機制中，包含實際要處理或關注的資料內容，例如語意向量等

K（Key 標籤）－在註意力機制中，用於識別資料特徵或位置等資訊的識別標籤，以便與其他資料匹配關聯

Q（Querry 查詢）－在註意力機制中，用於從鍵- 值對中檢索相關資訊的向量

Cross Attention（交叉注意力）－一種注意力機制，關注不同來源的輸入，如將輸入與歷史資訊關聯

Self Attention（自註意力）－一種注意力機制，模型對自身輸入進行關注，捕捉輸入內部的依賴關係

進入思過崖當然是一種戲稱，是停下來尋找改進方案的時間，也是深入理解新結構的時間。第一次進思過崖悟道，進去的快，出來的也快。 Tim 作為月之暗麵點子王掏出了新的改進思路，將MoBA 從串列兩層注意力方案改並行的單層注意力方案。 MoBA 不再增加額外的模型參數，而是利用現有註意力機制參數，同步學習一個序列裡面的所有訊息，這樣就可以盡可能保持不變當前結構進行Continue Training。

MoBA v1 其實是Sparse Attention （稀疏注意力） Context Parallel 的產物，在當時Context Parallel 並不是大行其道的時候，MoBA v1 體現了極高的端對端加速能力。我們在3B，7B 上都驗證了它有效之後，在更大模型scale 水平上撞牆了，訓練過程中出現了非常大的loss spike （模型訓練時出現的異常現象）。我們初版合併block attention output （注意力模組處理完資料後輸出結果）的方式過於粗淺，只是簡單累加，導致完全無法和Full Attention 對分進行debug，沒有ground truth （標準答案，這裡指Full Attention 的結果）的debug 是極其困難的，我們用盡了當時各種穩定性的手段都不能解決當時的穩定性。由於在較大的模型上訓練出了問題，MoBA 至此二入思過崖。

一個非常簡單的MoBA v1 的示意圖

Self Attention to History（對歷史的自註意力）－一種注意力機制，模型著重歷史標記，捕捉當前輸入與歷史資訊間的依賴關係

Share weights（共享權重）－神經網路中不同部分使用相同的權重參數，以減少參數數量和提高模型泛化能力

FFN（Feed - Forward Neural Network，前饋神經網路）－一種基本的神經網路結構，資料沿著單一方向從輸入層經過隱藏層流向輸出層

Weighted Sum（加權和）－將多個值依照各自的權重進行求和的操作

第二次留在思過崖時間比較長，從23 年9 月開始，至出思過崖的時候已經到了24 年初。但在思過崖裡並不代表被放棄了，我得以體會到在月之暗面工作的第二大特色，飽和救援。

除了一直在強力輸出的Tim 和裘老師，蘇神（蘇劍林，月之暗面研究員）、遠哥（Jingyuan Liu，月之暗面研究員）以及各路大佬都參與進行激烈的討論，開始拆解並修正MoBA，首先被修正的就是那個簡單的Weighted Sum （加權和）疊加。我們這裡嘗試過各種和Gate Matrix 相乘相加的疊加搞法之後，Tim 從故紙堆裡掏出了Online Softmax （不是看到所有數據才能計算，而是來一個數據處理一個），說這個應該能行。其中最大的一個好處是使用Online Softmax 之後我們可以透過將稀疏度降低至0（全選所有的分塊），來和一個數學等價的Full Attention 進行嚴格對照debug，這解決了大部分實現中遇到的難題。但是上下文拆分在資料並行節點之間的這個設計依然會導致不均衡問題，一個資料sample 在資料並行間平鋪之後，第一個資料並行rank 上的頭部幾個token 會被後續茫茫多的Q 發送進行attend （注意力計算過程），帶來極差的平衡性，進而拖慢加速效率。這個現像也有一個更廣為人知的名字－Attention Sink （注意力匯聚點）。

此時章老師到訪，聽完我們的想法後提出了新的思路，將Context Parallel 能力和MoBA 切分開。 Context Parallel 是Context Parallel，MoBA 是MoBA ，MoBA 回歸一個Sparse Attention 本身而不是分散式Sparse Attention 訓練框架。只要顯存放得下，完全可以在單機上處理全部上下文，用MoBA 來進行計算加速，透過Context Parallel 的方式來組織和傳遞機器間的上下文。因此我們重新實現了MoBA v2，基本上已經是也是目前大家見到的MoBA 的樣子。

MoBA Gating（MoBA 門控）－MoBA 中的特定門控機制

RoPE（Rotary Position Embedding 旋轉位置嵌入）－一種為序列添加位置資訊的技術

Partition to blocks（分割為區塊）－將資料分割成不同的區塊

Mean Pooling（平均池化）－一種在深度學習中對資料進行降採樣的操作，計算區域內資料的平均值

MatMul（Matrix - Multiply 矩陣乘法）－一種數學運算，用於計算兩個矩陣的乘積

TopK Gating（Top - K 門控）－一種門控機制，選擇前K 個重要的元素等操作

Selected Block Index（選定的區塊索引）－表示被選取的區塊的編號

Index Select（索引選擇）－根據索引從資料中選取對應元素

Varlen Flash-Attention（可變長度快速注意力）－一種注意力機制，適用於可變長度序列且運算效率較高

Attention Output（注意力輸出）－注意力機制計算後的輸出結果

MoBA v2 穩定可訓，短文和Full Attention 可以完全對齊，Scaling Law 看起來非常可靠，而且比較絲滑的支援推廣到線上模型上。我們因此加了更多的資源進來，在經過了一系列的debug 並消耗了n 把infra 組同學頭髮後，我們可以將經過MoBA 激活後的Pretrain 模型做到撈針測試全綠（大模型處理長文本能力測試中達標），在這一步我們已經覺得非常不錯了，開始進行上線。

但是最不意外的，只有意外。 SFT （監督微調，在預訓練模型的基礎上，針對特定任務對模型進行進一步訓練，以提高模型在該任務上的性能）階段部分數據帶著非常稀疏的loss mask（使得只有1% 甚至更少的token 有訓練用的梯度）（loss mask 指挑選類型的參與測量模型預測結果與標準答案的技術） 越文越是低下。 MoBA 在準上線流程中被按下暫停鍵，第三次進入思過崖。

第三次進入思過崖的時候其實最緊張，此時整個專案已經有了巨大的沉沒成本，公司付出了大量的計算資源和人力資源，如果端到端最後長文應用場景出現問題，那麼前期研究接近於打水漂。幸運的是，由於MoBA 本身優秀的數學性質，在新一輪飽和救援的實驗ablation （消融實驗，通過去除模型的某些部分或改變某些設置來研究其對模型性能的影響）中，我們發現去掉loss mask 表現就非常良好，帶上loss mask 表現就不盡如人意，然後意識到是帶有影響效率低下的問題，因此透過將最後幾層修改為Full Attention，來提高反向傳播時帶gradient token 的密度，改善特定任務的學習效率。後續其它實驗證明，這種切換並不會顯著影響切換回來的Sparse Attention 效果，在1M （100 萬）長度上和同結構Full attention 各項指標持平。 MoBA 再次從思過崖回歸，並成功上線服務用戶。

最後的最後，感謝各路大神的拔刀相助，感謝公司的大力支持以及巨量顯示卡。現在我們開放的出來的就是我們在線上用的程式碼，是一個已經經過了長期驗證，因為實際需求砍掉了各種額外設計，保持極簡結構但同時具備足夠效果的Sparse Attention 結構。希望MoBA 以及它誕生的CoT （Chain of Thought，思維鏈）能為大家帶來一些幫助和價值。

順帶借地方回答一些這兩天頻繁被人問到的問題，這兩天基本麻煩章老師和蘇神當客服回答問題了，實在過意不去，這裡提取了幾個常見問題一併回答一下。

1.MoBA 對Decoding （模型推理階段的文本生成過程）無效嗎？

MoBA 對Decoding 是有效的，對MHA （Multi-Head Attention，多頭注意力）很有效，對GQA （Grouped Query Attention，分組查詢注意力）效果降低，對MQA  （Multi-Query Attention，多查詢注意力）效果最差。原理其實很簡單，MHA 的情況下，每個Q 有一個自己對應的KV cache，那麼MoBA 的gate 在理想情況下是可以透過攤餘計算在prefill （首次處理輸入時的計算階段）算好並存儲每個block （數據塊）的代表token，這個token 在後續操作下都不會變動，因此所有的基本操作BA的稀疏程度就決定了IO 減少的程度。

但對於GQA 和MQA，由於一組Q Head 實際上在共享相同的一份KV cache，那麼在每個Q Head 能自由選擇感興趣Block 的情況下，很有可能填滿了由稀疏性帶來的IO 優化。例如我們思考這麼一個場景：16 個Q Head 的MQA，MoBA 剛好切分整個序列到16 份，這意味著當最壞情況每個Q head 感興趣的分別是序號從1 到16 的每個上下文區塊，節省IO 的優勢就會被磨平。能自由選擇KV Block 的Q Head 越多，效果越差。

由於「自由選擇KV Block 的Q Head」 這麼個現象存在，天然的改進想法就是合併，假設大家都選一樣的Block，那不就淨賺IO 優化了麼。對，但是在我們實際測試下，尤其是對於已經支付了大量成本的預訓練模型，每個Q head 都有自己獨特的“品味”，強行合併不如從頭重新訓練。

2.MoBA 預設是必選self attention （自註意力機制），那麼self 的鄰居會必選嗎？

不會必選，這是已知會產生些許疑惑的地方，我們最後選擇相信SGD （Stochastic Gradient Descent，隨機梯度下降）。現在的MoBA gate 實現非常直接，有感興趣的同學可以簡單改造gate 使其必選上一個chunk （數據塊），但我們自己測試這個改動帶來的收益比較margin （收益不大）。

3.MoBA 有Triton （編寫高效能GPU 程式碼的框架，由OpenAI 開發）實現麼？

我們實作過一個版本，端對端效能提升10%+，但是Triton 的實作想要持續維護跟上主線的成本比較高昂，我們因此多次迭代後暫緩進一步優化它。(晚點LatePost)

彙整鉅亨號中所有使用「MoBA」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`