【DeepSeek】在馬斯克和奧特曼比誰喊的響的時候，DeepSeek低調發論文，梁文鋒親自參與

DeepSeek最新公佈的原生稀疏注意力（Native Sparse Attention, NSA）機制不僅將大語言模型處理64k長文字的速度最高提升11.6倍，更在通用基準測試中實現性能反超傳統全注意力模型。如果後續DeepSeek將NSA整合到模型訓練中，其基座模型的能力有望實現顯著提升。

當馬斯克高調推出基於20萬塊GPU叢集的Grok-3、Sam Altman在開源策略上反覆權衡之際，DeepSeek悄然發佈了一項可能改變遊戲規則的技術。

18日，DeepSeek CEO公佈了一項由梁文鋒親自參與的研究論文成果——原生稀疏注意力（Native Sparse Attention, NSA）機制。這是DeepSeek團隊在稀疏注意力領域的創新性工作，結合了演算法創新和硬體最佳化，旨在解決長上下文建模中的計算瓶頸。

DeepSeek論文顯示，NSA不僅將大語言模型處理64k長文字的速度最高提升11.6倍，更在通用基準測試中實現性能反超傳統全注意力模型。在全球AI競賽轉向"硬核創新"的當口，這家低調的中國公司展示了技術破局的新範式。

值得注意的是，NSA尚未應用於DeepSeek V3的訓練中。這意味著，如果後續DeepSeek將NSA整合到模型訓練中，其基座模型的能力有望實現顯著提升。論文中明確指出：“使用NSA預訓練的模型超過了全注意力模型”。

與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。今日馬斯克發佈的Grok3使用了20萬塊GPU叢集，而未來的Grok4更是計畫使用百萬塊GPU、1.2GW的叢集。這種“財大氣粗”的做法，體現了北美在AI領域一貫的“大力出奇蹟”風格。

01 稀疏注意力：DeepSeek NSA的創新之道

“AI革命”狂飆突進，長文字建模在AI領域的重要性日益凸顯。OpenAI的o-series模型、DeepSeek-R1以及Google Gemini 1.5 Pro等，都展示了處理超長文字的強大潛力。

然而，傳統Attention機制的計算複雜度隨序列長度呈平方級增長，成為制約大語言模型（LLM）發展的關鍵瓶頸。

稀疏注意力機制被認為是解決這一難題的希望所在。DeepSeek今日提出的NSA機制，正對去年5月MLA（Multi-Layer Attention）工作的補充。NSA的核心在於將演算法創新與硬體最佳化相結合，實現了高效的長文字建模。

科技媒體AI寒武紀表示，NSA的三大關鍵創新包括：

• 動態分層稀疏策略：結合粗粒度Token壓縮和細粒度Token選擇，兼顧全域上下文感知和局部資訊精確性。
• 算術強度平衡的設計：針對現代硬體進行最佳化，顯著提升計算速度。
• 端到端可訓練：支援端到端訓練，減少預訓練計算量，同時保持模型性能。

02 NSA的核心元件：三位一體，逐層最佳化

科技自媒體zartbot分析，NSA架構採用了分層Token建模，通過三個平行的注意力分支處理輸入序列：

1. 壓縮注意力（Compressed Attention）： 通過壓縮Token塊來捕獲全域資訊，處理粗粒度的模式。
2. 選擇注意力（Selected Attention）： 處理重要的Token塊，選擇性地保留細粒度的資訊。
3. 滑動窗口注意力（Sliding Window Attention）： 處理局部上下文資訊。

這三個分支的輸出通過一個門控機制進行聚合。為了最大化效率，NSA還專門設計了硬體最佳化的Kernel。

具體而言，NSA在Token Compression部分，基於block粒度進行壓縮計算，並插入位置資訊編碼。在Token Selection部分，則巧妙地借用Compression的注意力分數作為block的重要性分數，進行top-N選擇，以保留關鍵的細粒度資訊。Sliding Window部分則負責處理局部上下文。最後，通過Gating函數綜合三種注意力的輸出。

03 實驗結果：性能與效率的雙重飛躍

根據DeepSeek發佈的實驗資料，NSA技術在多個方面展現出卓越表現。

在通用基準測試、長文字任務和指令推理方面，使用NSA預訓練的模型性能不僅沒有下降，反而超越了Full Attention模型。更重要的是，在處理64k長度的序列時，NSA在解碼、前向傳播和反向傳播等各個階段都實現了顯著的速度提升，最高可達11.6倍，證明了NSA在模型生命周期各個階段的效率優勢。

AI寒武紀表示：

“DeepSeek 的 NSA 技術為長文字建模帶來了新的突破。它不僅在性能上超越了傳統的 Full Attention 模型，更在效率方面實現了顯著的提升，尤其是在長序列場景下。NSA 的 硬體友好設計 和 訓推一體化特性，使其在實際應用中更具優勢，有望加速下一代 LLM 在長文字處理領域的應用落地。”

科技媒體資訊平權表示，NSA論文中隱藏了一個“彩蛋”：

“DeepSeek此次使用了Triton，而沒有提及輝達專用庫和框架。Triton底層可以呼叫CUDA，也可以呼叫其他計算平台的框架，如AMD的ROCM，甚至國產計算卡。結合NSA降低了浮點算力和記憶體佔用門檻的特性，這或許暗示了DeepSeek在模型研發階段，就已經開始考慮未來適配更多類型計算卡，為更廣泛、更普遍的開源做準備。”

04 xAI的Grok3：算力堆砌的“極致”

與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。Grok3使用了20萬塊GPU叢集，而未來的Grok4更是計畫使用百萬塊GPU、1.2GW的叢集。這種“財大氣粗”的做法，體現了北美在AI領域一貫的“大力出奇蹟”風格。

然而，資訊平權的分析指出，儘管xAI通過超大叢集在短時間內實現了對之前SOTA（State-of-the-Art）模型的反超，但其投入產出比並不理想。相比DeepSeek V3，xAI以50倍的成本實現了30%的性能提升。這表明，單純在預訓練階段投入巨額算力，其收益可能並不如預期，將資源投入到RL（強化學習）後訓練階段可能更為划算。 (硬AI)