底層架構換代升級大模型開始彎道超車9月12日，阿里通義千問發表了全新大模型Qwen3-Next系列以及系列首款模型Qwen3-Next-80B-A3B。這是一款開放原始碼的超稀疏MoE模型，也是全球第一款將mamba線性注意力架構從科學研究領域帶入大眾市場的大模型，可望直接開啟大模型底層架構市場的全面變革。新模型最突出的就是在長上下文應用中的極高效率和速度，Qwen3-Next-80B-A3B總共擁有80B參數，但每個token僅啟動3.9B參數，相比Qwen3-32B這種更小的模型，訓練便宜10倍，推理快10倍。尤其是在32K+上下文中，這種成本和效率價值更加突出。千問官方表示：Qwen3-Next-80B-A3B-Instruct接近自家235B參數旗艦模型產品。 Qwen3-Next-80B-A3B-Thinking表現優於Gemini-2.5-Flash-Thinking。目前使用者可在anycoder平台體驗兩款模型的Vibe Coding能力，也可在Qwen Chat中直接使用。不過由於是全新大模型底層框架，與Transformer長期累積下來的技術堆疊相容性未知，需要開源社區進一步運作，才能真正形成技術變革。架構基礎資訊根據官方資訊，Qwen3-Next-80B-A3B 採用了混合Transformer-Mamba 架構，結合了以下關鍵技術創新：混合注意力機制（Hybrid Attention）：模型將傳統Transformer 的注意力機制取代為3個Gated DeltaNet全新mamba線性注意力層（平行）與1個Gated Attention傳統softmax指數注意力層的組合。這種混合機制解決了大模型隨著輸入資料量增加算力消耗呈指數型增長的問題，最佳化了超長上下文建模的效率，支援高達256K 令牌的上下文長度，相對於傳統Transformer 模型在處理長序列時的高計算複雜度，顯著降低了計算成本。這也是新模型框架中「線性」和「指數性」的含義。高稀疏性混合專家（MoE）架構：Qwen3-Next-80B-A3B 使用了高稀疏性的Mixture-of-Experts（MoE）架構，512名專家，10名路由+1名共享，總計80B 參數，但每次推理僅啟動3.9B 參數。這種設計透過選擇性地啟動部分專家網路，極大地減少了每token的計算量（FLOPs），從而提升推理速度和效率。例如，在處理超過32K 令牌的上下文時，推理吞吐量是Qwen3-32B-Base 的10 倍，同時訓練成本僅為後者的10%。穩定性最佳化：模型引入了零中心化和權重衰減的層歸一化（LayerNorm）等技術，以增強預訓練和後訓練的穩定性。此外，多token預測（Multi-Token Prediction, MTP）技術進一步提升了預訓練效能與推理速度。支援多語言和複雜任務：Qwen3-Next-80B-A3B 支援119 種語言，擅長工具呼叫和複雜推理任務，效能在某些基準測試中可媲美Qwen3-235B-A22B-Instruct-2507。什麼是Mamba線性架構？Qwen3-Next-80B-A3B明確採用了Mamba 架構，作為其混合Transformer-Mamba 架構的一部分。具體來說：Mamba 架構簡介：Mamba 是一種基於狀態空間模型（State Space Models, SSMs）的架構，最初由Gu 和Dao 等人提出（參考arXiv:2312.00752）。與Transformer 的二次複雜度（O(n²)）注意力機制不同，Mamba 使用線性複雜度（O(n)）的計算方式，透過結構化狀態空間序列（Structured State Space Sequence, S4）來高效處理長序列資料。 Mamba 的核心優勢在於其高效的上下文建模能力和較低的記憶體佔用，特別適合超長上下文任務。但容易遺失海量資料中的長期關係，因此主流操作都是與Transformer混合使用。這也是未來大模型底層架構技術的重要發展方向。Qwen3-Next-80B-A3B 中的Mamba 實現：根據官方描述，Qwen3-Next-80B-A3B 的混合注意力機制中，Gated DeltaNet是Mamba 架構的關鍵組成部分。 Gated DeltaNet 結合了門控機制（Gating）和Mamba 的狀態空間模型，透過動態選擇性地處理輸入序列，最佳化了長上下文的建模效率。這種機制與傳統Transformer 的全域注意力不同，Mamba 的線性複雜度使得模型在處理長序列時能顯著減少計算資源需求。在具體實現上，Gated DeltaNet 和Gated Attention 的結合可能透過以下方式實現：Gated DeltaNet：基於Mamba 的狀態空間模型，使用門控機制動態調整狀態轉移的權重，以更好地捕捉序列中的長期依賴關係。Gated Attention：在局部或特定場景下補充Transformer 風格的注意力機制，增強模型在短距離依賴或複雜推理任務中的表現。這種混合設計允許模型在保持Mamba 高效性的同時，保留Transformer 在某些任務上的優勢。Mamba 在MoE 架構中的作用：Mamba 的線性複雜度與高稀疏性MoE 架構結合，進一步降低了計算量。 MoE 架構透過選擇性地啟動少量專家（3.9B 參數），而Mamba 的高效序列處理能力確保了即使在超長上下文下，模型也能快速完成推理。例如，官方資料表明，Qwen3-Next-80B-A3B 在處理32K 以上令牌時，推理吞吐量顯著優於傳統密集模型。如何實現Mamba 線性架構？Mamba 線性架構在Qwen3-Next-80B-A3B 中的實現可以從以下幾個方面進行推測和分析：狀態空間模型（SSM）核心：Mamba 的核心是基於狀態空間模型的序列建模，其數學形式可以簡化為：[h_t = A h_{t-1} + B x_t, \quad y_t = C h_t]其中( h_t ) 是隱狀態，( x_t ) 是輸入，( A )、( B ) 是可學習的參數、參數或可學習的參數。 Qwen3-Next-80B-A3B 的Gated DeltaNet 可能透過門控機制動態調整( A ) 和( B )，以增強模型對不同情境的適應性。門控機制增強：Gated DeltaNet 可能藉鑑了Mamba 的改進版本（如Mamba-2），透過引入門控單元（如類似LSTM 的門控結構）來控制資訊流，從而在保持線性複雜度的同時提升模型的表現力。與Transformer 的混合：混合架構的實現可能透過分層設計完成。例如，模型可能在較低層級使用Mamba 的Gated DeltaNet 處理長距離依賴，在較高層引入Gated Attention 進行局部精細化建模。這種分層策略平衡了效率和效能。穩定性最佳化：為確保Mamba 和MoE 的穩定性，Qwen3-Next-80B-A3B 可能採用了專門的訓練技巧，如GSPO（Gradient-based Sparse Parameter Optimization），以解決混合注意力機制和高稀疏性MoE 在強化學習（RL）訓練中的穩定性挑戰。性能與優勢透過結合Mamba 的線性架構和MoE 的稀疏性，Qwen3-Next-80B-A3B 實現了以下優勢：高效率的長上下文處理：支援256K token的上下文長度，推理吞吐量高，適合檔案總結、長對話等任務。低訓練和推理成本：相較於Qwen3-32B-Base，訓練成本降低至10%，推理效率提升10 倍。強大的任務表現：在複雜推理和工具呼叫任務中表現出色，與更大規模的模型（如Qwen3-235B）表現相當。 （AI頓悟湧現時）
