#推理
SSD走向推理主鏈路:處於爆發臨界點上的AI SSD
大語言模型推理正在同時遭遇容量牆與I/O牆。模型參數持續擴大,長上下文、多輪對話和智能體任務又使KV Cache快速膨脹;MoE模型雖然降低了單次計算的啟動參數量,卻需要保存遠大於視訊記憶體或記憶體容量的專家權重。在雲側算力中心,這一矛盾表現為昂貴的HBM資源被模型權重和KV Cache長期佔用,GPU有效利用率受到資料搬運制約;在邊緣側和端側,有限的DRAM或統一記憶體則直接限制了本地可運行模型的規模。由此,SSD開始從模型檔案的靜態存放裝置進入大模型推理的即時資料路徑,成為HBM、VRAM和DRAM之後的正式記憶體層級。 這一變化最早在推理基礎設施和叢集架構中得到清晰體現。月之暗面的Mooncake採用以KV Cache為中心的分離式推理架構,將GPU叢集中原本未被充分利用的CPU、DRAM和SSD組織為分佈式快取資源[1];Mooncake Store進一步支援由DRAM與SSD/NVMe構成的多級快取,使冷資料能夠在容量更大、成本更低的快閃記憶體層長期保留[2]。2026年,輝達推出CMX上下文記憶體記憶體平台,在Vera Rubin基礎設施中增加一個面向KV Cache最佳化、通過乙太網路連接的快閃記憶體層級,由BlueField-4負責NVMe SSD管理、資料保護和網路傳輸。輝達將其定義為介於GPU記憶體與共享記憶體之間的pod級上下文層[3]。這些架構釋放出一個明確的產業訊號:SSD正在成為推理系統需要直接調度的資源,而不再只是模型載入前後的外圍裝置。 但推理基礎設施開始呼叫SSD,並不意味著傳統SSD已經適合承擔常駐推理任務。傳統SSD面向檔案和塊資料記憶體設計,其性能指標主要圍繞順序頻寬、隨機IOPS、資料可靠性與單位容量成本展開;LLM推理需要的卻是具有嚴格時序約束的資料供應。KV Cache會在prefill階段集中生成並持續寫入,在後續請求中按會話、模型層和Token位置反覆讀取;MoE推理則需要根據路由結果,在每一層計算前及時取得特定專家權重。一次讀取未能趕上計算窗口,就可能讓GPU、NPU或CPU進入等待狀態,而SSD在高佇列深度下取得的峰值IOPS,並不等同於低佇列深度、細粒度訪問時的穩定延遲。 這種矛盾還延伸至SSD內部。NAND Flash以頁為單位讀取、以塊為單位擦除,FTL需要執行地址對應、垃圾回收和磨損均衡,容易產生寫放大與尾延遲;持續寫入KV Cache還會對快閃記憶體壽命提出遠高於普通消費負載的要求。傳統LBA排布並不瞭解模型層、MoE專家、KV塊及其訪問順序之間的語義關係,相互關聯的資料可能被分散到不同物理位置,難以形成可預測的平行讀取。檔案系統、塊裝置和NVMe軟體棧中的排隊、中斷、資料複製與頁快取,也會增加端到端延遲。如果缺少面向模型執行順序的地址佈局、快取劃分、優先順序調度、非同步預取和壽命管理,SSD雖然擁有TB級容量,卻仍難以像DRAM或VRAM一樣穩定參與每一個Token的生成。
AMD重磅收購Taalas:蘇姿丰押注“模型即晶片”,AI推理大戰升級
8 月 6 日,AMD 宣佈與加拿大 AI 晶片初創公司 Taalas 簽署最終收購協議。交易價格、支付方式和預計交割時間均未披露,收購仍需獲得監管批准並滿足其他慣常交割條件。AMD 給出的整合方向很明確:把 Taalas 的專用推理技術納入加速器路線,與 Instinct GPU 共同組成系統級方案。 這是一筆規模尚不清楚的交易,卻呈現了 AMD 對 AI 計算架構變化的判斷。過去幾年,晶片公司的競爭焦點主要集中在訓練:誰能連接更多 GPU、提供更大的視訊記憶體和更高的叢集頻寬。隨著模型投入實際應用,推理逐漸成為持續發生、反覆計費的計算負載。客戶開始追問每個 token 的成本、響應延遲和資料中心功耗,一種晶片覆蓋所有 AI 任務的效率越來越難令人滿意。 AMD 的業務重心也在向這裡移動。收購消息發佈前兩天,公司剛剛公佈 2026 年第二季度財報:營收達到 115 億美元,同比增長 50%;資料中心業務收入為 67 億美元,同比增長 107%,佔總收入的 58%。EPYC CPU 和 Instinct GPU 仍是主要增長來源,但 AMD 已經開始在這兩類通用計算產品周圍加入更多專用技術。 6 月,AMD 收購記憶體最佳化公司 MEXT,試圖降低資料中心的記憶體容量和成本壓力。7 月,AMD 與 Cerebras 達成合作,由 AMD 系統處理提示詞和長上下文,Cerebras 的晶圓級晶片負責低延遲 token 生成。蘇姿丰當時表示,AI 工作負載將出現更多拆分。