大語言模型推理正在同時遭遇容量牆與I/O牆。模型參數持續擴大，長上下文、多輪對話和智能體任務又使KV Cache快速膨脹；MoE模型雖然降低了單次計算的啟動參數量，卻需要保存遠大於視訊記憶體或記憶體容量的專家權重。在雲側算力中心，這一矛盾表現為昂貴的HBM資源被模型權重和KV Cache長期佔用，GPU有效利用率受到資料搬運制約；在邊緣側和端側，有限的DRAM或統一記憶體則直接限制了本地可運行模型的規模。由此，SSD開始從模型檔案的靜態存放裝置進入大模型推理的即時資料路徑，成為HBM、VRAM和DRAM之後的正式記憶體層級。
這一變化最早在推理基礎設施和叢集架構中得到清晰體現。月之暗面的Mooncake採用以KV Cache為中心的分離式推理架構，將GPU叢集中原本未被充分利用的CPU、DRAM和SSD組織為分佈式快取資源[1]；Mooncake Store進一步支援由DRAM與SSD/NVMe構成的多級快取，使冷資料能夠在容量更大、成本更低的快閃記憶體層長期保留[2]。2026年，輝達推出CMX上下文記憶體記憶體平台，在Vera Rubin基礎設施中增加一個面向KV Cache最佳化、通過乙太網路連接的快閃記憶體層級，由BlueField-4負責NVMe SSD管理、資料保護和網路傳輸。輝達將其定義為介於GPU記憶體與共享記憶體之間的pod級上下文層[3]。這些架構釋放出一個明確的產業訊號：SSD正在成為推理系統需要直接調度的資源，而不再只是模型載入前後的外圍裝置。
但推理基礎設施開始呼叫SSD，並不意味著傳統SSD已經適合承擔常駐推理任務。傳統SSD面向檔案和塊資料記憶體設計，其性能指標主要圍繞順序頻寬、隨機IOPS、資料可靠性與單位容量成本展開；LLM推理需要的卻是具有嚴格時序約束的資料供應。KV Cache會在prefill階段集中生成並持續寫入，在後續請求中按會話、模型層和Token位置反覆讀取；MoE推理則需要根據路由結果，在每一層計算前及時取得特定專家權重。一次讀取未能趕上計算窗口，就可能讓GPU、NPU或CPU進入等待狀態，而SSD在高佇列深度下取得的峰值IOPS，並不等同於低佇列深度、細粒度訪問時的穩定延遲。
這種矛盾還延伸至SSD內部。NAND Flash以頁為單位讀取、以塊為單位擦除，FTL需要執行地址對應、垃圾回收和磨損均衡，容易產生寫放大與尾延遲；持續寫入KV Cache還會對快閃記憶體壽命提出遠高於普通消費負載的要求。傳統LBA排布並不瞭解模型層、MoE專家、KV塊及其訪問順序之間的語義關係，相互關聯的資料可能被分散到不同物理位置，難以形成可預測的平行讀取。檔案系統、塊裝置和NVMe軟體棧中的排隊、中斷、資料複製與頁快取，也會增加端到端延遲。如果缺少面向模型執行順序的地址佈局、快取劃分、優先順序調度、非同步預取和壽命管理，SSD雖然擁有TB級容量，卻仍難以像DRAM或VRAM一樣穩定參與每一個Token的生成。
由此，市場上開始出現多種被稱為“AI SSD”的產品，但這一名稱目前尚未形成統一的技術定義，而是衍生出兩大類有代表性的產品。
第一類可以稱為“AI負載強化型企業級SSD”，如圖1所示。這類產品仍以塊記憶體裝置為基本形態，但其設計指標開始圍繞AI叢集的資料路徑重新排序。英韌科技的洞庭N3X系列是這一方向的代表之一。該系列針對訓練、微調和推理中的高頻快取資料訪問，採用XL-Flash、SLC NAND等低時延、高耐久介質，重點服務KV Cache解除安裝和高並行臨時資料讀寫。據公開材料披露，與傳統TLC SSD相比，相關方案的訪問時延可降低至約三分之一，寫入吞吐量提高至約三倍，DWPD則提高約17—33倍；其價值不只是提高峰值性能，更在於減少持續寫入、垃圾回收和高佇列深度下的性能波動。英韌還規劃向PCIe 6.0以及NVMe/CXL雙協議產品演進，並提出從千萬級IOPS繼續向更高隨機訪問能力發展的路線，希望使SSD能夠承接更多原本駐留在高成本記憶體中的熱資料[4]。
圖1. AI負載強化型企業級SSD的代表性產品：英韌科技洞庭N3X與華為OceanDisk LC 560。
華為OceanDisk則採用系列化產品組合覆蓋不同AI負載。OceanDisk EX 560強調極高隨機寫入性能、微秒級寫入時延和高寫入耐久性，主要面向模型微調、檢查點保存及高頻快取寫入；SP 560在性能、耐久性和成本之間進行平衡，針對AI一體機和叢集推理中的KV Cache、長上下文及多並行訪問；LC 560則將重點放在容量密度和順序讀取頻寬上，單盤容量最高達到245TB，用於承載訓練語料、多模態資料、向量庫和大規模模型檔案。華為還通過DiskBooster等驅動軟體推動SSD與HBM、DDR形成分層協同，使高性能企業級SSD進一步進入記憶體擴展和快取解除安裝路徑[5]。這說明AI負載強化型企業級SSD並非單一規格，而是正在分化為極致性能盤、高性價比推理盤和超大容量盤等不同產品線。
第二類AI SSD試圖改變SSD在電腦中的運行邏輯：通過主控、韌體、中介軟體以及OS或主機板層的協同，建立近似於“NAND Flash與DRAM/VRAM聯合虛擬化”的多級記憶體體系，使部分模型權重、MoE專家和KV Cache在推理運行期間駐留於SSD，並按照計算進度動態換入記憶體。它相容傳統SSD的資料記憶體功能，同時增加面向LLM的資料感知、調度和預取能力，因此既可以形成企業級產品，也可以進入AI PC、工作站和邊緣計算裝置。
在這一類別中，群聯（Phison）和江波龍目前主要從記憶體側展開探索，如圖2所示。兩家廠商都試圖把NAND從模型檔案的靜態存放位置，轉變為DRAM或VRAM之外的高容量執行階段資料層，但在產品組織方式、軟體入口和目標市場上形成了不同側重。
群聯的aiDAPTIV方案由aiDAPTIVCache專用快取SSD、記憶體管理中介軟體和配套工具鏈組成。其核心機制是將超過VRAM容量的模型權重切分為多個資料區塊，根據模型執行過程在VRAM與SSD之間進行流式傳輸：當前需要參與計算的權重優先保留在VRAM中，暫時不活躍的權重則下沉至SSD，從而在不繼續增加GPU數量的情況下擴展可載入模型的規模。對於推理場景，aiDAPTIV還會保存原本可能被逐出的KV Cache，並在後續上下文復用時從SSD回取，減少重新執行Prefill和重建快取的開銷。其專用快取SSD強調低時延和高耐久性，群聯公開資料給出的產品耐久性最高達到100 DWPD，多個快取SSD可提供TB級的擴充記憶體空間[6]。群聯的商業化思路並不是單獨銷售一塊普通SSD，而是將高耐久快取盤、中介軟體、安裝工具和經過驗證的電腦配置組合成可部署方案，並通過整機廠商和管道合作夥伴進入教育、科研、政府、企業私有化部署以及本地模型微調市場。
江波龍選擇了“SPU硬體執行＋iSA軟體決策”的路線。其WM8500 SPU不再被定義為只負責資料搬運的傳統SSD控製器，而是整合記憶體控制、壓縮、快取和資料調度能力，並由iSA感知推理負載、制定資料分層和預取策略。根據江波龍公開材料，SPU採用5nm工藝，支援存內無失真壓縮、HLC高級快取和混合NAND調度；其中，存內壓縮用於提高有效容量和頻寬利用率，HLC允許SSD承接原本駐留在DRAM中的溫資料和冷資料，混合NAND機制則根據冷熱程度在不同介質區域之間調度資料。相關設計使SPU既可以用於消費級AI SSD，也可以向高容量企業級SSD、工作站和端側智能裝置擴展[7]。與群聯更強調VRAM擴展和模型權重流送不同，江波龍將壓縮、冷熱識別、快取分區和預取調度進一步整合到SPU與iSA體系中，試圖把SSD主控從資料通道升級為記憶體側智能調度節點。
圖2. 記憶體側推理參與型AI SSD探索：群聯aiDAPTIV快取SSD、江波龍SPU＋iSA方案以及寅譜-聯芸AI SSD方案。
另一條路線由聯芸（Maxio）與寅譜（Infplane）組成的技術聯盟推進，如圖2所示。寅譜（Infplane）在大模型推理晶片，以及電腦OS和主機板側的處理器、記憶體與記憶體協同控制方面具有較多技術積累。雙方合作形成AI SSD的過程，並非簡單地在傳統SSD上疊加一層推理軟體，而是將寅譜原本用於推理晶片的部分技術堆疊——尤其是其中關於多級快取、資料調度、平行搬運和預測式預取的技術——抽取出來，與聯芸對NAND Flash、SSD主控和韌體的控制能力結合，形成一套跨越計算側與記憶體側的AI SSD架構。具體而言，該方案圍繞MoE專家、KV Cache和數值精度三個維度開展資料切分、冷熱分層、平行搬運與預測式預取：一方面根據模型執行過程調度不同專家權重和KV Cache，另一方面將模型檔案的數值精度分為較熱的低精度位和較冷的高精度位進行特殊的讀寫和存放。該方案將模型和推理框架相容性作為核心設計目標，力圖在不修改模型檔案、不侵入主流推理框架的條件下適配不同處理器平台，並降低對特定SSD模組形態的限制。其潛在價值在於同時改善本地裝置可承載的MoE模型容量、prefill資料復用效率和decode階段的資料供應；相應代價是需要貫通middleware、firmware與controller，軟硬體協同範圍更深，研發成本和工程驗證難度也明顯更高。聯芸已經公開提出，AI推理正在推動SSD主控從傳統資料通道走向面向Token成本的智能調度[8]；其橫跨消費級、工業級和企業級市場的主控產品基礎，也為相關技術進入不同SSD模組和整機形態提供了較大的產業化空間[9]。
總之，從完整推理資料路徑看，不同AI SSD方案所覆蓋的技術層級並不相同：部分產品主要強化SSD介質與I/O能力，部分方案進一步參與模型權重、KV Cache和MoE專家的執行階段調度，而聯芸—寅譜方案則試圖貫通計算側快取體系、middleware、firmware、controller與NAND介質管理。各路線在模型載入、prefill、decode和長上下文復用中的作用如圖3所示。
圖3. AI SSD在LLM推理資料路徑中的作用，以及主要廠商技術路線與推理環節的對應關係。
從電腦製造商、智算基礎設施廠商釋放的資訊看，群聯與寅譜-聯芸均已越過單純的概念展示階段，開始推進面向實際產品的規模化驗證和商業化。其中，寅譜-聯芸方案的驗證範圍已經不再侷限於單一主控、單一模組或少數原型機，而是在消費級AI PC、Mini工作站、高性能本地推理裝置、邊緣計算平台和企業級推理節點等多類產品中同步推進，並覆蓋不同CPU、GPU、NPU及記憶體架構組合。與此同時，群聯也在通過伺服器、工作站和邊緣AI合作夥伴擴大aiDAPTIV的落地範圍，江波龍則已圍繞AMD銳龍AI Max+ 395完成較深入的端側AI記憶體適配[6][7]。相關技術路線尚未完全收斂，但先發企業正在持續積累主控、韌體、執行階段、模型生態、模組生產和整機驗證資料，由此形成初步的生態壁壘與產業壁壘。對於後來進入者而言，競爭門檻已經不再只是開發一款具有較高頻寬或IOPS的SSD，而是能否同時建立從NAND控制、推理調度到整機適配的完整協作體系。
可以預期，AI SSD不會取代HBM、VRAM或DRAM，而是通過容量、性能和成本的重新分層，成為更多雲側、邊緣側和端側裝置中的Token生成基礎設施。當產業評價指標從單純追求峰值算力轉向每Token成本、單位功耗吞吐和有效算力利用率時，SSD也將從長期被LLM產業低估的外圍元件，逐步成為推動Token經濟學演進的新引擎。(半導體行業觀察)