SemiAnalysis:Kimi K3的KDA機制提高注意力效率,但將需要更多的GPU、HBM、DRAM和網絡,而非更少!

Kimi K3的線性注意力雖引發對硬體需求的短期擔憂,但SemiAnalysis指出,其超2.8兆參數與大規模推理架構,反將加劇對高端GPU、HBM及高速互聯的需求。專家並行設計推高晶片間通訊壓力,而線性注意力帶來的成本下降,或借傑文斯悖論(效率提升刺激應用擴張)推動AI規模化落地,長期支撐基礎設施持續增長。

月之暗面旗下大模型Kimi K3採用線性注意力機制,引發市場對$輝達 (NVDA.US)$、HBM以及網絡設備需求可能受到削弱的擔憂。

不過,半導體研究機構SemiAnalysis近日給出了截然不同的判斷:K3龐大的參數規模和推理架構需求,不僅不會削弱高端AI硬體需求,反而可能進一步強化對輝達高端GPU、HBM以及高速互聯設備的需求。

SemiAnalysis指出,K3參數規模超過2.8兆,模型權重容量超過1.5TB HBM。即便在相對有限的用戶併發場景下,KV緩存仍需要大量卸載至CPU DDR5內存及NVMe記憶體,HBM空間並不會出現明顯富餘。

更重要的是,月之暗面此前透露,K3的高效推理部署需要至少64顆晶片組成的大規模擴展域架構。這一硬體需求與$輝達 (NVDA.US)$GB200/GB300 NVL72等機架級AI系統的設計方向高度匹配。

SemiAnalysis認為,市場此前將線性注意力理解為「削弱GPU需求」的邏輯存在偏差。真正的影響可能恰恰相反:更高效的模型架構降低了AI推理成本,將推動更多應用落地,進而刺激GPU、HBM、DRAM以及網絡基礎設施的長期需求。

無懼線性注意力迭代,輝達晶片需求依舊堅挺

市場擔憂主要來自Kimi K3採用的Kimi Delta Attention(KDA)機制。

相比傳統Transformer注意力機制,KDA能夠顯著降低KV緩存的數據傳輸需求,最高可減少約10倍的網絡帶寬壓力。這一變化令部分投資者聯想到DeepSeek R1發佈後市場對AI硬體需求的擔憂,認為模型效率提升可能降低對高端算力硬體的依賴。

但SemiAnalysis認為,這一判斷忽視了大模型推理中的另一項核心需求——參數規模帶來的計算和互聯壓力。

K3擁有超過2.8兆參數,其模型權重本身就需要依賴大規模分佈式計算系統完成部署。與此同時,K3採用WideEP(Wide Expert Parallelism)優化策略,將896個專家模塊分佈到多顆GPU上,使單顆GPU僅需承載部分專家權重,從而提升計算利用率。

不過,WideEP也帶來了新的挑戰:專家之間頻繁的數據交換需要更強大的網絡互聯能力。SemiAnalysis指出,GB200/GB300 NVL72採用的銅背板互聯架構,提供的機架內帶寬達到傳統DGX B200系統的18倍,非常適合這類大規模專家並行推理任務。

換言之,KDA節省的KV緩存通訊需求,可能被WideEP帶來的權重交換需求部分抵消,整體AI基礎設施壓力並未明顯下降。


64顆晶片擴展域並非輝達獨家受益

不過,市場對此也存在不同聲音。知情人士GDP(@bookwormengr)指出,月之暗面提到的「64顆晶片擴展域」並不一定意味著$輝達 (NVDA.US)$NVL72方案。華為昇騰950 SuperPod同樣採用64顆晶片配置,並具備類似NVLink的統一總線(UB)內存擴展能力。

從架構能力看,昇騰950 SuperPod可支援跨16個機架擴展至1024顆NPU,在滿足大規模模型推理需求方面同樣具備競爭力。因此,K3帶來的硬體需求增長,並不意味著輝達將成為唯一受益者,但其對於高端AI互聯繫統的需求強化趨勢仍然明確。

傑文斯悖論:AI效率提升可能推動硬體需求增長

SemiAnalysis進一步援引傑文斯悖論(Jevons' Paradox)解釋AI基礎設施趨勢。

該理論認為,當某項技術提升資源利用效率、降低單位成本後,需求往往不會下降,反而可能因應用範圍擴大而增長。應用到AI領域,線性注意力機制降低推理成本後,可能推動更多企業部署AI應用,使全球AI推理規模進一步擴大,最終帶動GPU、HBM、DRAM以及高速網絡設備需求增長。

不過,GDP對此保持謹慎態度。他認可傑文斯悖論的長期邏輯,但指出,KDA對於長上下文任務中的狀態記憶體優化具有現實意義。即使模型權重規模巨大,由於採用4bit量化以及高度稀疏化設計,實際內存壓力可能低於市場直覺。

他認為,真正值得關注的變量在於全球推理需求最大的AI公司——OpenAI、Anthropic以及Google DeepMind——是否已經或未來會採用類似KDA、DeepSeek CSA/HCA等線性注意力方案。如果頭部AI公司大規模採用此類架構,長上下文推理對內存和互聯資源的需求可能出現明顯下降,這將成為影響未來AI硬體需求結構的重要因素。

市場關注點轉向:AI需求增長能否抵消架構效率提升

總體來看,Kimi K3的出現並未簡單指向AI硬體需求下降。對於輝達而言,真正的競爭焦點可能從「單卡性能」轉向「系統級能力」——包括高速互聯、機架級擴展以及大規模推理優化。

隨著模型規模持續擴大,即使注意力機制不斷優化,AI基礎設施仍面臨參數規模、專家並行、數據交換以及推理吞吐提升帶來的壓力。

未來市場需要關注的核心問題,不是線性注意力是否降低單項資源消耗,而是AI應用規模擴張帶來的新增需求,能否持續超過架構效率提升帶來的資源節省。 (華爾街見聞)