一台AI伺服器很可能先用完記憶體，再用完算力。訓練把權重、啟動值和最佳化器同時堆進HBM；推理讓KV快取隨上下文和並行膨脹；Agent又把狀態佔用拉長到幾分鐘甚至更久。
一、昂貴的GPU為什麼還會停下來等資料
一台裝著高端GPU的伺服器開始工作後，資料會沿著一條很清楚的路徑移動。最熱的權重、啟動值和KV快取留在HBM，CPU正在處理的索引和工具狀態放在系統DRAM，更冷的會話與檢查點繼續下沉到CXL記憶體和SSD。任何一層供數太慢，GPU都只能等待。
記憶體需求因此有四本帳。模型帳記錄權重和執行階段緩衝，訓練帳記錄梯度、最佳化器和啟動值，推理帳記錄每條會話的KV快取，系統帳則裝著資料集、索引、檢查點和工具狀態。四本帳會在同一台機器裡重疊，卻由完全不同的變數驅動。
容量和頻寬是兩道不同的門。容量決定能裝下多少模型和會話，頻寬決定每秒能把多少資料送進計算單元。多裝記憶體可以提高並行，卻未必提高每秒生成詞元數。提高頻寬可以減少等待，也不會自動容納更長上下文。
這也解釋了AI伺服器的採購邏輯。客戶付錢購買GPU，真正買到的是一套能夠持續完成任務的系統。HBM、系統DRAM、互聯和SSD只要有一處跟不上，昂貴的計算晶片就會出現空轉，整台伺服器的收入能力也會下降。
二、模型檔案只有140GB，訓練現場為何接近1TB
把一個700億參數模型載入到伺服器，只是訓練的起點。按每個參數2字節計算，FP16或BF16權重約為140GB。訓練真正開始後，機器還要記住前向計算的中間結果、反向傳播的梯度，以及最佳化器準備怎樣更新每個參數。
伯恩斯坦2025年12月的專家訪談給出了一張直觀帳單。這個場景裡，權重約140GB，啟動值等臨時狀態約500GB，梯度約140GB。最佳化器、主權重和框架緩衝補上餘下空間，總量接近1TB。
1TB是一個專家場景，不能套在所有700億模型上。批次、序列長度、隱藏維度、最佳化器和平行方式都會改變峰值。它仍然揭示了一個穩定關係：模型檔案只記錄了“當前模型是什麼”，訓練還要保存“剛才算出了什麼”和“下一步怎樣更新”。
訓練叢集通常用分片換容量。ZeRO或全分片資料平行把權重、梯度和最佳化器狀態拆到多張卡上，單卡壓力會下降。新增的通訊會佔用互聯頻寬，卡間同步慢下來以後，節省的HBM可能轉化為更長的訓練時間。
啟動檢查點也在做同一類交換。系統只保留部分中間結果，需要時重新計算，從而騰出記憶體。批次可以變大，訓練步數也可能變慢。企業最終關心訓練完成時間、叢集利用率和故障恢復，單卡視訊記憶體只是其中一個約束。
資料集和檢查點把壓力繼續傳給系統DRAM與SSD。訓練資料需要清洗、分片、打亂和預取，檢查點要定期從HBM寫回持久記憶體。寫得太少，故障會浪費計算；寫得太頻繁，記憶體和網路又會打斷訓練。
同一份專家訪談把訓練側需求描述為單次推理的100—1000倍。這個跨度只能當作方向性場景，不能拿來直接預測行業總量。它提醒採購者看完整工作流：GPU執行階段間裡有多少真正用於計算，多少耗在資料等待、通訊、檢查點和恢復上。
三、訓練結束以後，每個使用者都會增加一筆快取
推理伺服器裝好模型後，權重可以由很多使用者共享。每條活躍會話形成的KV快取通常無法共享，它會跟著上下文增長，並在會話存續期間持續佔用容量。推理帳本因此同時記錄模型副本和使用者狀態。
預填充階段先處理整段輸入，通常更依賴計算。解碼階段每生成一個詞元，都要讀取模型權重和此前形成的KV快取，記憶體頻寬更容易成為瓶頸。首詞延遲和後續輸出速度經常來自兩套不同的約束。
一個簡化的KV快取容量公式是：
KV容量 ≈ 2 × 層數 × KV頭數 × 每頭維度 × 每元素字節數 × 上下文詞元數 × 活躍序列數
公式前面的2代表Key和Value。多查詢注意力與分組查詢注意力可以減少KV頭數，量化可以降低每個元素的字節數，分頁注意力可以減少碎片。這些方法會壓低係數，上下文和並行的乘法關係仍然存在。
用一個演示場景就能看到這种放大。模型有80層、8個KV頭、每頭128維，KV快取採用2字節精度。單條8K上下文約需2.5GiB，32K約需10GiB，128K約需40GiB。64條128K序列同時活躍時，快取約為2.5TiB，模型權重和執行階段緩衝還沒有計入。
這張表直接連到推理服務的收入模型。更長上下文可以提高單次任務價值，卻會減少同一加速器能夠同時承接的使用者。並行提高以後，收入機會增加，快取容量和搬運頻寬也同步增加。服務商需要在響應速度、上下文長度、並行和每詞元成本之間定價。
暫時不用的KV快取可以遷往系統DRAM、CXL記憶體或SSD，在會話恢復前再預取回來。介質越便宜，資料離計算單元越遠，恢復時延通常越高。即時語音和程式碼補全無法容忍明顯停頓，長時間研究任務在等待工具返回時，更適合把冷狀態放到外層。
四、Agent讓一次請求變成一段持續佔用
普通聊天結束一輪迴答後，會話可能很快釋放。Agent會規劃任務、呼叫工具、讀取結果、修正方案，再把中間產物帶進下一輪模型呼叫。使用者只提交一次請求，後台已經完成多次預填充和解碼。
Agent給記憶體帳本增加了四個乘數：活躍任務數、每個任務的模型呼叫次數、每輪詞元數和狀態保留時間。平行分支抬高峰值，序列步驟拉長佔用，工具等待則讓一部分熱快取逐漸變冷。
查詢規模增大後，延遲可能比KV快取容量增長得更快。快取裝得下，只說明容量還有餘地。服務等級還要求系統及時搬完資料，頻寬、調度和尾時延任何一項接近上限，使用者都會感到停頓。
Agent也擴大了CPU側工作集。API響應、檢索索引、狀態資料庫和任務調度通常由CPU處理，模型呼叫結束後，中間結果還要等待後續步驟。伺服器因此同時增加加速器旁邊的HBM和CPU旁邊的DRAM。
衡量這類負載還要看“快取時”。40GiB快取佔用1分鐘，與佔用30分鐘對應完全不同的硬體周轉率。任務完成率、平均步驟數、工具等待時間和恢復命中率，會直接改變一台伺服器每天能夠完成的任務數。
Agent完成率決定這筆投入能否創造收入。任務成功率提高以後，企業會把更多工作流交給模型，步驟、並行和狀態駐留時間都可能增加。完成率長期停滯時，客戶會限制步驟和上下文，記憶體需求也會低於硬體廠商的線性外推。
五、HBM裝不下以後，資料開始向外搬
HBM留給需要立刻參與計算的資料。它靠近加速器，頻寬高、能耗低，單位容量也最貴。系統DRAM裝著預處理資料、檢索索引、CPU工具狀態、模型載入緩衝和冷KV快取。SSD繼續承接資料集、檢查點和長時間不用的狀態。
CXL在這些層之間增加了一條可共享的記憶體通道。第一步是給單台伺服器加記憶體擴展器，第二步是讓多顆CPU或加速器訪問記憶體池，第三步才是通過交換器形成機架級資源池。池化可以減少每台機器為峰值預留的閒置容量，提高整體利用率。
CXL無法提供HBM級頻寬。它建立在PCIe物理層之上，資料經過控製器、交換器和鏈路後會增加時延。軟體還要判斷那些資料變冷、何時遷移、何時預取，以及恢復失敗會不會拖慢整條任務。
瑞銀2026年6月以加速器、頭節點CPU和獨立CPU數量推導CXL市場，給出2030年70億至100億美元的機構估值區間。裝配率、單機內容量和產品形態仍然不確定。協議支援、演示樣機、量產客戶與收入確認處在不同階段。
產業兌現也會分階段出現。擴展器量產先增加控製器和記憶體模組收入，池化再增加交換晶片、韌體和管理軟體價值。機架級共享還要等待加速器廠商開放訪問，並面對專有互連和客戶自研的競爭。
六、軟體每省下1GB，產品往往會把它重新花掉
量化、分組查詢、分頁注意力和前綴快取都能降低單位任務佔用。權重量化壓低模型常駐容量，KV量化減少每條會話快取，分頁注意力降低碎片，前綴快取避免多次計算相同提示。
這些節省會帶來新的取捨。低精度可能影響模型質量，分頁和解除安裝會增加調度複雜度，前綴快取依賴請求相似度，投機解碼還會引入額外模型或驗證計算。記憶體成本下降多少，需要和精準率、響應速度及系統複雜度放在一起看。
條件記憶展示了另一種變化。摩根士丹利對DeepSeek Engram的研究把部分靜態事實從通用計算中拆出，放到CPU系統DRAM中查表和預取。報告以1000億參數、每參數2字節估算約200GB系統DRAM。HBM壓力下降後，記憶體需求轉移到了另一層。
節省出來的資源很少長期閒置。更小的權重允許同卡部署更多模型，更小的KV快取支援更長上下文和更高並行，更高快取命中率也允許服務商降價擴大請求量。單位需求下降以後，總需求仍由任務數量和複雜度決定。
總需求可以拆成兩個式子。峰值容量約等於單位會話容量乘以峰值並行，再加模型副本和運行緩衝。頻寬需求約等於單位詞元需要讀取的資料量乘以每秒生成詞元數。軟體會壓低其中一個乘數，產品升級可能把另一個乘數推得更高。
七、這張帳單正在改變伺服器的硬體預算
HBM最先獲得預算，因為它直接決定最熱資料能否持續喂給加速器。寬匯流排和先進封裝提供高頻寬，也帶來更多DRAM裸片、更複雜的堆疊、測試、封裝和熱設計。容量每增加一層，製造難度和良率風險都會上升。
美銀2026年5月預計，單加速器HBM含量會從2025年的187GB提高到2030年的464GB，復合增速約20%。同期HBM市場規模由約350億美元升至約1680億美元。這個預測依賴加速器出貨、產品組合和ASP，不能視為已經鎖定的訂單。
該機構用Vera Rubin說明CPU側記憶體也在增長。其估算中，每個加速器對應288GB HBM4，同時匹配約750GB Vera CPU側LPDDR。獨立CPU機架還會增加更多記憶體容量，伺服器的記憶體預算已經從GPU旁邊延伸到CPU側。
HBM擴張還會擠壓普通DRAM供給。兩者共享前端晶圓能力，HBM每個堆疊消耗更多裸片，又增加TSV、堆疊和先進封裝步驟。廠商優先分配晶圓與資本以後，伺服器DDR供應可能收緊，AI需求也會傳到普通記憶體價格。
高利潤會吸引擴產。潔淨室、EUV裝置、先進封裝和客戶認證都有時間滯後，短期供給反應較慢。新產能最終會逐步釋放。HBM良率、普通DRAM晶圓分配和新增產能投產，需要與訂單一起跟蹤。(404K)