#KDA
昨天 11:11
•
SemiAnalysis:Kimi K3的KDA機制提高注意力效率,但將需要更多的GPU、HBM、DRAM和網絡,而非更少!
Kimi K3的線性注意力雖引發對硬體需求的短期擔憂,但SemiAnalysis指出,其超2.8兆參數與大規模推理架構,反將加劇對高端GPU、HBM及高速互聯的需求。專家並行設計推高晶片間通訊壓力,而線性注意力帶來的成本下降,或借傑文斯悖論(效率提升刺激應用擴張)推動AI規模化落地,長期支撐基礎設施持續增長。 月之暗面旗下大模型Kimi K3採用線性注意力機制,引發市場對$輝達 (NVDA.US)$、HBM以及網絡設備需求可能受到削弱的擔憂。 不過,半導體研究機構SemiAnalysis近日給出了截然不同的判斷:K3龐大的參數規模和推理架構需求,不僅不會削弱高端AI硬體需求,反而可能進一步強化對輝達高端GPU、HBM以及高速互聯設備的需求。 SemiAnalysis指出,K3參數規模超過2.8兆,模型權重容量超過1.5TB HBM。即便在相對有限的用戶併發場景下,KV緩存仍需要大量卸載至CPU DDR5內存及NVMe記憶體,HBM空間並不會出現明顯富餘。
科技