輝達推出全新推理上下文（Inference Context）記憶體儲存平台（ICMSP），通過將推理上下文解除安裝（Offload）至NVMe SSD的流程標準化，解決KV快取容量日益緊張的問題。該平台於 2026 年國際消費電子展（CES 2026）正式發佈，致力於將GPU的KV快取（Key-Value Cache）擴展至基於 NVMe 的儲存裝置，並獲得輝達 NVMe 儲存合作夥伴的支援。此消息一出，引爆的是本就漲到高不可攀的儲存廠商股價，多家儲存廠商和快閃記憶體控製器廠商股價直接漲停，快閃記憶體極有可能步DRAM後塵成為AI基建帶動下第二波緊俏儲存器，儲存價格特別是快閃記憶體價格在2026年可能成為儲存產品整體價格繼續飆漲的第二輪推動力。從某個角度考慮，ICMSP的推出，讓GPU晶片可以降低對大容量HBM產品的嚴重依賴，同時也讓AMD同步發佈的Helios機架平台變得有些“過時”，因為輝達已經邁向了存算結合的新階段。不過相比這些，黃仁勳在解答分析師問題時更是直言“我們現在是全球最大的網路公司。我預計我們還將成為全球最大的儲存處理器公司”，通過不斷收購儲存技術，輝達致力於在AI算力體系架構中，擁有更多的話語權。從這點來看，ICMSP將成為輝達在AI走向千行百業的工程化過程中主導的技術之一。認識一下ICMSP在大型語言模型推理過程中，KV快取用於儲存上下文資料 —— 即模型處理輸入時，表徵令牌間關係的鍵（keys）和值（values）。隨著推理推進，新令牌參數不斷生成，上下文資料量持續增長，往往會超出 GPU 的可用記憶體。當早期快取條目被淘汰後又需重新呼叫時，必須重新計算，這會增加延遲。智能體 AI（Agentic AI）和長上下文工作負載進一步加劇了這一問題，因為它們需要保留更多上下文資料。而 ICMSP 通過將 NVMe 儲存上的 KV 快取納入上下文記憶體地址空間，並支援跨推理任務持久化儲存，有效緩解了這一困境。輝達創始人兼CEO黃仁勳表示：“人工智慧正在徹底變革整個計算架構 —— 如今，這場變革已延伸至儲存領域。人工智慧不再侷限於一次性互動的聊天機器人，而是能理解物理世界、進行長周期推理、立足事實、借助工具完成實際工作，並具備短期和長期記憶的智能協作夥伴。借助BlueField-4，輝達與軟硬體合作夥伴正為人工智慧的下一個前沿領域重塑儲存架構。” 他在CES演講中提到，通過BlueField-4，機櫃中可直接部署KV快取上下文記憶體儲存。隨著 AI 模型規模擴展至兆參數等級，且支援多步驟推理，其生成的上下文資料量極為龐大，同時運行的此類模型數量也在不斷增加。KV 快取軟體（即 ICMSP）需適配GPU、GPU 伺服器及 GPU 機櫃叢集，這些裝置可能同時處理多種不同的推理工作負載。每個模型 / 智能體工作負載的參數集都需妥善管理，並能精準對接運行在特定 GPU 上的目標AI模型或智能體 —— 且這種對應關係可能隨任務調度動態變化。這意味著需要專門的 KV 快取上下文中繼資料管理機制。基於NVMe的KV快取儲存需實現跨層級相容，涵蓋 GPU、GPU 伺服器、GPU 機櫃乃至多機櫃叢集。輝達表示，ICMSP 不僅提升了 KV 快取容量，還加速了機櫃級 AI 系統叢集間的上下文共享。多輪互動 AI 智能體的持久化上下文特性，提高了響應速度，提升了 AI 工廠的吞吐量，並支援長上下文、多智能體推理的高效擴展。圖1 基於 NVMe 的 KV 快取儲存需實現跨層級相容，覆蓋GPU、GPU 伺服器、GPU機櫃乃至GPU機櫃叢集ICMSP 依賴Rubin GPU叢集級快取容量，以及輝達即將推出的BlueField-4資料處理器（DPU）—— 該處理器整合Grace CPU，吞吐量高達 800 Gbps。BlueField-4 將提供硬體加速的快取部署管理功能，消除中繼資料開銷，減少資料遷移，並確保GPU節點的安全隔離訪問。輝達的軟體產品（包括DOCA框架、Dynamo KV快取解除安裝引擎及其內建的 NIXL（輝達推理傳輸庫）軟體實現了 AI 節點間 KV 快取的智能加速共享。儲存架構必須重構，在這個過程中，上下文成為新瓶頸，主要體現在模型規模持續擴大、上下文（Context）長度不斷增加、多輪對話導致上下文（Context）累積以及並行使用者與會話數量增多等方面。圖2 黃仁勳在 CES 2026 展示的上下文瓶頸幻燈片Dynamo支援跨記憶體和儲存層級的協同工作，覆蓋GPU的高頻寬記憶體（HBM）、GPU 伺服器 CPU 的動態隨機存取儲存器（DRAM）、直連 NVMe SSD 及網路附加儲存。此外，還需搭配輝達Spectrum-X乙太網路，為基於RDMA的AI原生KV快取訪問提供高性能網路架構。輝達稱，ICMSP的能效將比傳統儲存提升5倍，令牌每秒處理量最高可提升5倍。圖3 黃仁勳在 CES 2026 展示的推理上下文記憶體儲存平台幻燈片行業反饋鑑於輝達在AI算力架構方面擁有絕對的話語權，ICMSP的推出必定會得到一眾合作夥伴的鼎力支援，以免錯失商機。輝達列出了眾多將通過BlueField-4支援ICMSP的儲存合作夥伴，BlueField-4 將於 2026 年下半年正式上市。首批合作夥伴包括 AIC、Cloudian、DDN、戴爾科技、HPE、日立資料系統、IBM、Nutanix、Pure Storage、超微（Supermicro）、VAST Data 和 WEKA。預計 NetApp、聯想（Lenovo）和 Hammerspace 也將後續加入。將KV快取解除安裝或擴展至NVMe SSD的架構理念，其實已有廠商率先實踐 —— 例如 Hammerspace的零級儲存技術（Tier zero tech）、VAST Data的開放原始碼軟體VAST Undivided Attention（VUA），以及WEKA的增強記憶體網格（Augmented Memory Grid）。戴爾也通過在PowerScale、ObjectScale和閃電計畫（Project Lightning，私人預覽版）儲存產品中整合LMCache和NIXL等技術，實現了KV快取解除安裝功能。這些均為基於BlueField-3的解決方案。如今，輝達旨在為所有儲存合作夥伴提供標準化的KV快取記憶體擴展框架。戴爾、IBM、VAST Data和WEKA已明確表示將支援 ICMSP。WEKA在題為《上下文時代已然來臨》的部落格中，詳細闡述了支援該平台的實施方案及核心原因，指出ICMSP是 “一類新型 AI 原生基礎設施，將推理上下文視為一級平台資源。這一架構方向與WEKA的增強記憶體網格高度契合，後者通過擴展 GPU 記憶體，實現了大規模、無限量、高速、高效且可復用的上下文儲存。”WEKA產品行銷副總裁Jim Sherhart表示：“為上下文資料套用為長期儲存資料設計的重量級持久性、複製和中繼資料服務，會產生不必要的開銷 —— 導致延遲增加、功耗上升，同時降低推理經濟性。”“推理上下文固然需要適當的管控，但它的特性與企業級資料不同，不應強行套用企業級儲存語義。傳統協議和資料服務帶來的開銷（如中繼資料路徑、小 I/O 放大、默認的持久性 / 複製機制、在錯誤層級施加的多租戶控制），可能將‘高速上下文’降級為‘低速儲存’。當上下文對性能至關重要且需頻繁複用的情況下，這種開銷會直接體現為尾部延遲增加、吞吐量下降和效率降低。”VAST Data 表示，其儲存/AI作業系統將運行在BlueField-4處理器上，“打破傳統儲存層級界限，提供機櫃級共享KV快取，為長上下文、多輪對話和多智能體推理提供確定性訪問性能。”VAST 全球技術合作副總裁John Mao稱：“推理正逐漸成為一個記憶體系統，而非單純的計算任務。未來的贏家不會是擁有最多原始計算資源的叢集，而是那些能以線速遷移、共享和管控上下文的叢集。連續性已成為新的性能前沿。如果上下文無法按需獲取，GPU 將陷入閒置，整個系統的經濟性將徹底崩塌。通過在輝達 BlueField-4 上運行 VAST AI 作業系統，我們正將上下文轉化為共享基礎設施 —— 默認高速、按需提供策略驅動管控，並能隨著智能體 AI 的規模擴展保持性能穩定性。”關於ICSMP，黃仁勳在CES 2026後答分析師會議上做了更多詳細的說明，其中最驚人的是黃仁勳表態希望未來輝達成為最大的儲存處理器公司，從而掌握更巨量資料話語權。Aaron Rakers- 富國銀行證券有限責任公司研究部：目前供應鏈面臨著諸多動態變化，比如 DRAM 價格、供應可用性等問題。我想瞭解你們對供應鏈的看法。黃仁勳（Jen-Hsun Huang：我們的供應鏈涵蓋了上游和下游。我們的優勢在於，由於我們的規模已經非常龐大，而且在如此大的規模下仍然保持快速增長，我們很早就開始為合作夥伴準備應對這種大規模的產能擴張。過去兩年，大家一直在和我討論供應鏈問題 —— 這是因為我們的供應鏈規模巨大，而且增長速度驚人。每個季度，我們的增長規模都相當於一家完整的公司，這還只是增量部分。我們每季度都在新增一家大型上市公司的規模。因此，我們在 MGX（機架級產品）方面所做的所有供應鏈最佳化工作。我們之所以如此注重元件標準化、避免生態系統和供應鏈資源浪費、並為合作夥伴提供大量投資（包括預付款支援），就是為了幫助他們擴大產能。我們談論的不是數百億美元，而是數千億美元的投入，以幫助供應鏈做好準備。因此，我認為我們目前的供應鏈狀況非常良好，這得益於我們與合作夥伴長期穩定的合作關係。而且，大家應該知道，我們是全球唯一一家直接採購 DRAM 的晶片公司。仔細想想，我們是全球唯一一家直接採購DRAM的晶片公司。有人問我們為什麼要這麼做？因為事實證明，將DRAM整合為CoWoS（晶圓級系統整合）並打造超級電腦的難度極大。而建立這樣的供應鏈體系，給了我們巨大的競爭優勢。現在市場環境雖然嚴峻，但我們很幸運擁有這樣的技術能力。說到功耗，看看我們的上游合作夥伴 —— 系統製造商、記憶體供應商、多層陶瓷電容器（MLCC）供應商、印刷電路板（PCB）供應商等，我們與他們都保持著緊密的合作。James Schneider- 高盛集團研究部：我想瞭解一下你們今天宣佈的上下文（Context）記憶體儲存控制技術。它在各類應用場景中的重要性如何？您是否認為它會成為某些特定客戶問題的性能瓶頸？我們是否可以期待你們在這個方向上繼續創新，就像你們過去在網路領域所做的那樣？黃仁勳（Jen-Hsun Huang）：我們現在是全球最大的網路公司。我預計我們還將成為全球最大的儲存處理器公司，而且很可能我們的高端 CPU 出貨量也將超過其他任何公司。原因在於，Vera 和 Grace（以及 Vera 相關產品）已經應用於每個節點的智能網路介面卡（SmartNIC）中。我們現在是 AI 工廠的智能網路介面卡提供商。當然，很多雲服務提供商都有自己的智能網路介面卡（如亞馬遜的 Nitro），他們會繼續使用。但在外部市場，BlueField 系列產品取得了巨大的成功，而且 BlueField-4 將會表現更加出色。BlueField-4 的採用率（不僅僅是早期採用）正在快速增長。其上層的軟體層名為 DOCA（發音與 CUDA 相近），現在已經被廣泛採用。因此，在高性能網路的東西向流量（east-west traffic）方面，我們是市場領導者。在網路隔離的南北向流量（north-south networking）方面，我非常有信心我們也將成為市場領導者之一。而儲存領域目前是一個完全未被充分服務的市場。傳統的儲存基於 SQL 結構化資料，結構化資料庫相對輕量化。而 AI 資料庫的鍵值快取（KV caches）則極其龐大，你不可能將其掛在南北向網路上 —— 這會造成網路流量的巨大浪費。你需要將其直接整合到計算架構中，這就是我們推出這一新層級儲存技術的原因。這是一個全新的市場，很可能會成為全球最大的儲存市場 —— 它將承載全球 AI 的工作記憶體。這種儲存的規模將是巨大的，而且需要極高的性能。我非常高興的是，目前人們進行的推理工作負載已經超出了全球現有基礎設施的計算能力。因此，我們現在處理的上下文（Context）記憶體、令牌記憶體和鍵值快取的規模已經非常龐大，傳統的儲存系統已經無法滿足需求。當市場出現這種拐點，而你又有遠見能夠預見它的到來時，這就是進入一個新市場的最佳時機。而 BlueField-4 在這一領域具有絕對的競爭優勢，沒有任何產品能與之匹敵。Ken Chui- Robocap：我的問題同時涉及利潤率和技術。你們目前已經擁有 CPX 技術，通過收購 Grok，你們還獲得了可用於推理的 SRAM 技術。此外，你們的團隊一個月前發表了一篇論文，討論如何在 GPU 中使用 CPX 技術，從而減少對 HBM 的依賴 —— 因為可以用 GDDR7 替代 HBM。我們都知道 HBM 的成本非常高。因此，未來通過結合 Grok 的技術和你們內部的 CPX 技術，你們對 HBM 的使用會有何變化？這是否能更好地控制 HBM 的使用成本，從而對利潤率產生積極影響？黃仁勳（Jen-Hsun Huang）：當然。我可以先描述一下這些技術各自的優勢，然後再談談面臨的挑戰。例如，CPX 在每美元預填充性能（prefill per dollar）方面比普通的 Rubin 更有優勢 ——Rubin CPX 的每美元預填充性能高於普通版 Rubin。如果將所有資料都儲存在 SRAM 中，那麼當然不需要 HBM 記憶體。但問題是，SRAM 能夠支援的模型規模比 HBM 小 100 倍左右。不過，對於某些工作負載來說，SRAM 的速度要比 HBM 快得多，因此性能會極其出色。因此，我認為它在預填充（prefill）和解碼（decode）等場景中會有明顯優勢。但問題在於，工作負載的形態一直在變化 —— 有時是混合專家模型（MOE），有時是多模態模型，有時是擴散模型（diffusion models），有時是自回歸模型（auto regressive models），有時是狀態空間模型（SSMs）。這些模型的形態和規模各不相同，對 NVLink、HBM 記憶體或其他元件的壓力也會不斷變化。因此，我的觀點是，由於工作負載變化如此之快，而且全球的創新速度也在加快，輝達之所以能夠成為通用解決方案，正是因為我們的靈活性。大家明白我的意思嗎？如果你的工作負載從早到晚都在變化，而且客戶需求各不相同，那麼我們的產品具有很強的通用性，幾乎適用於所有場景。你可能能夠針對某一種特定工作負載進行極致最佳化，但如果這種工作負載只佔總負載的 10%、5% 甚至 12%，那麼當它不被使用時，這部分資料中心資源就被浪費了 —— 而你只有 1 吉瓦的電力資源。關鍵在於，你不能把資料中心看作是擁有無限資金和空間的資源，而是要在有限的電力下實現整體利用率的最大化。架構越靈活，整體效益就越好。如果採用統一的架構 —— 例如，當我們更新 DeepSeek 模型時，資料中心內所有 GPU 的性能都會立即提升；當我們更新通義千問（Qwen）模型的庫時，整個資料中心的性能都會提升 —— 這樣的協同效應是非常顯著的。但如果你有 17 種不同的架構，每種架構只適用於特定場景，那麼整體的總擁有成本（TCO）反而會更高。這就是面臨的挑戰。即使在我們研發這些技術時，也非常清楚這一點 —— 這非常困難。 (EEPW)
