晶片峰值算力繼續上升，系統吞吐卻越來越取決於資料能否及時到達。HBM、持久記憶體與互聯正在共同定義AI基礎設施的效率邊界。
一、峰值算力上升，不保證系統完成更多工
AI基礎設施正在進入系統效率主導的階段。一顆加速器只有在資料已經進入計算單元時，才能把電晶體轉化為有效吞吐。權重沒有裝入、啟動值沒有就位、梯度仍在同步、KV Cache無法及時讀取，或者Checkpoint尚未寫回時，更多峰值算力只會擴大等待資源的規模。
過去討論AI硬體，常用每秒浮點運算次數衡量代際進步。這個指標仍然重要，但它描述的是晶片能夠完成多少計算，沒有說明資料能否按時到達。真實工作負載需要同時經過四個環節：持久記憶體提供資料集和模型檔案，DDR與CXL承擔較大容量的中間層，HBM向計算核心提供高頻寬資料，網路再完成加速器之間的同步和結果搬運。任何一個環節跟不上，理論算力都無法完全兌現。
這使“有效系統吞吐”成為更有解釋力的指標。它可以理解為單位時間真正完成的訓練步數、推理請求或Agent任務量。計算、記憶體、記憶體、網路和軟體調度共同決定這個結果。各環節並非簡單相加，其中最慢的一段會形成等待，其餘硬體只能降低利用率或者增加快取。
系統完成一個任務所需的時間，可以拆成計算時間、記憶體服務時間、記憶體服務時間、通訊時間和調度開銷。部分環節能夠重疊，例如下一批資料可在當前批計算時預取；無法隱藏的最長路徑決定最終吞吐。增加GPU只縮短計算時間，若資料供給和通訊不變，系統會越來越接近記憶體或I/O受限。
算術強度可以幫助判斷瓶頸。它表示每搬運一個字節能夠完成多少計算。矩陣乘法通常具有較高算術強度，能夠更充分利用計算核心；Embedding查詢、KV Cache讀取、MoE專家路由和稀疏訪問更容易受到頻寬限制。模型結構變化會改變硬體需求，單看參數量或Token數量無法給出完整答案。
有效吞吐模型至少需要四組輸入。計算側記錄晶片數量、精度和實際利用率；記憶體側記錄容量、頻寬和快取命中；記憶體側記錄熱資料集、順序及隨機吞吐和Checkpoint寫入；網路側記錄通訊量、拓撲、擁塞和尾延遲。後續專題的市場空間，都應從這組底層變數推導。
資本開支也開始沿這條鏈條擴散。一份2026年5月美國半導體行業報告預計，2030年AI資料中心系統市場可能達到約1.7兆美元，其中加速器約1.17兆美元、AI網路約3161億美元、HBM約1680億美元。這些數字屬於高增長情景，不宜直接當作市場共識。它們仍然揭示了一個重要變化：當加速器數量增長後，記憶體和網路不會保持固定配比，系統為了維持利用率，需要給每顆加速器配置更多記憶體容量、更高互聯頻寬和更複雜的記憶體管線。
產業研究因此要從加速器出貨量向下展開。單顆加速器對應的HBM容量、機櫃內的Scale-up頻寬、跨機櫃的Scale-out連接埠，以及訓練集和Checkpoint所需的SSD與HDD容量，共同決定AI基礎設施的真實價值量。它們也決定需求究竟落在晶片、記憶體介質、交換裝置、銅連接、光模組，還是先進封裝和測試環節。
二、訓練、推理與Agent搬運的是三組不同資料
工作負載決定資料形態，資料形態決定硬體瓶頸。訓練需要同時處理權重、啟動值、梯度、最佳化器狀態和Checkpoint；推理主要讀取權重，並持續維護KV Cache和臨時張量；Agent還會加入更長上下文、外部知識庫、工具呼叫結果與持久記憶。三類負載都使用計算、記憶體和記憶體，但資料的生命周期和訪問方式完全不同。
訓練的記憶體佔用最容易被低估。伯恩斯坦2025年12月的專家訪談以一個700億參數模型為例，權重約佔140GB，啟動值約增加500GB，梯度再增加約140GB，加上最佳化器狀態後合計接近1TB。這個數字是特定精度、訓練方法和模型架構下的示例，不能機械套到所有模型。它說明訓練時保留的資料遠多於參數檔案本身。
訓練記憶體可以用一條簡單關係理解：總佔用等於權重、梯度、最佳化器狀態、啟動值、通訊緩衝區和運行冗餘之和。混合精度、最佳化器類型、啟動重計算與ZeRO分片會改變各項佔比。硬體配置需要同時回答兩件事：單顆加速器能否容納本地分片，以及跨卡同步會付出多少通訊成本。
訓練同時需要大規模持久記憶體。該專家估計，兆參數模型的資料集可能達到1—5PB，訓練側記憶體需求可能比單次推理高100—1000倍。這一倍數同樣是訪談中的場景值。模型蒸餾、量化、資料復用和合成資料都會改變結果。更穩妥的結論是，訓練需要持續讀取資料集，並定期寫入Checkpoint，因此它既消耗容量，也要求穩定吞吐和寫入耐久。
推理的單次資料量較小，但並行能夠把容量壓力放大。權重通常長期駐留在HBM或較近的記憶體層，KV Cache則隨上下文長度、並行請求和模型層數增長。長上下文並不會直接增加全部計算量，卻會持續佔用記憶體容量，並產生大量讀取。服務商可以通過量化、分頁管理、快取復用和請求批處理改善效率，但這些方法都在延遲、精度和調度複雜度之間取捨。
推理基礎設施的關鍵單位更接近“每個並行請求佔用多少字節”和“每生成一個Token需要搬運多少字節”。批次擴大能夠攤薄權重讀取，卻會增加排隊時間；更長上下文提高服務價值，也會擴大KV Cache。收入增長若主要來自低價、長上下文產品，記憶體需求可能增長更快，單位Token的利潤卻未必同步改善。
Agent把這兩類壓力連接起來。Agent需要多輪上下文，也會檢索文件、呼叫外部工具、保存任務狀態。模型推理只佔完整任務的一部分，資料庫、對象記憶體和網路往返會進入使用者感知的總時延。未來Agent需求是否真正轉化為硬體需求，關鍵不只看Token數量，還要看每個任務保留多少狀態、呼叫多少外部資料，以及這些資料能否被共享快取命中。
這一區分也解釋了為何AI基礎設施不能只沿GPU數量外推。訓練叢集偏向高吞吐、強同步和集中式Checkpoint；線上推理偏向高並行、低尾延遲和大容量KV Cache；Agent則更依賴計算、記憶體、記憶體和網路協同。硬體廠商獲得多少收入，取決於它解決了那一種資料對象，以及該對像是否真的成為系統瓶頸。
三、工作記憶體和持久記憶體解決兩件不同的事
“存”至少包含工作記憶體和持久記憶體兩套系統。HBM、DDR和CXL保存正在參與計算的資料，要求低延遲和高頻寬；SSD、HDD和對象記憶體保存資料集、模型檔案、日誌與Checkpoint，強調容量、耐久和單位成本。二者可以交換部分任務，但無法直接互相替代。
HBM的價值來自靠近計算。它通過更寬的介面和先進封裝提高頻寬，讓加速器減少等待。代價是製造複雜、容量昂貴，並佔用先進封裝資源。一份AI 2030行業報告預計，單顆加速器的HBM配置可能在2030年達到約464GB。這個數字依賴高端加速器結構和模型假設，更適合作為上行情景。更重要的趨勢是，每顆加速器的HBM容量和頻寬仍需增長，否則新增算力會被資料供給限制。
HBM供給也不是單純的DRAM晶圓問題。堆疊層數、矽通孔、基底、封裝良率、熱管理和與加速器的協同設計都會影響最終出貨。HBM4若進一步擴大匯流排寬度並提高堆疊複雜度，單位容量成本未必迅速下降。伯恩斯坦訪談提到，HBM4單堆疊成本可能比HBM3高約50%。這屬於專家預測，真正結果仍要看良率、晶圓供給和客戶配置。
CXL提供另一條路徑。它基於PCIe物理層擴充記憶體語義，讓CPU或加速器訪問更遠的記憶體，並支援擴展、池化和交換。它能夠降低昂貴記憶體的閒置率，也能讓多個計算節點共享更大容量。代價是更高延遲、軟體調度和一致性開銷。對延遲最敏感的資料仍應留在HBM，較冷資料和彈性容量才適合向DDR或CXL移動。
瑞銀2026年6月的CXL報告把市場拆成記憶體擴展器、池化、交換和近記憶體加速器，並在高裝配率情景下測算2030年市場達到70億—100億美元。這個測算依賴約4000萬顆加速器、2000萬顆頭節點CPU、1300萬顆獨立CPU，以及每台裝置的內容量假設。裝配率下降、專有互聯擴張或者軟體利用不足，都會明顯壓低結果。
CXL最值得跟蹤的是客戶是否把共用記憶體用於生產負載。需要觀察每台伺服器的記憶體擴展容量、交換器連接埠數量、加速器attach rate、應用延遲，以及共享後實際減少了多少閒置記憶體。沒有這些資料，CXL更像可行架構，還不能成為確定收入曲線。
四、持久記憶體的價值在於持續供給，而不只是保存容量
GPU閒置的成本很高，持久記憶體需要同時考慮容量和供給速度。模型訓練會讀取資料分片、保存中間狀態、寫入Checkpoint，並在故障後恢復。線上推理需要載入權重和索引。Agent還會頻繁訪問向量庫、檔案和歷史狀態。記憶體介質的選擇由訪問頻率、延遲、耐久、機架空間和電力共同決定。
HDD仍然適合保存冷資料和大規模語料。它的單位容量成本低，供應鏈成熟。短板是毫秒級訪問、機械部件、機架密度和功耗。當訓練任務需要快速隨機讀取，或者恢復窗口很短時，HDD通常需要由SSD快取或分層記憶體配合。HDD需求並不會因AI消失，它會更多承擔容量底座，而不是獨自完成高性能資料供給。
企業級SSD的採購價格更高，但可以減少等待、機架和電力。伯恩斯坦訪談給出的十年TCO案例中，HDD方案總成本約8000萬—8500萬美元，高密度QLC SSD方案約3000萬—4000萬美元。案例同時假設SSD減少約十倍機架空間，並顯著降低電力成本。這不是普遍行業報價，結果對容量、寫入負載、裝置壽命、電價和房地產成本高度敏感。
這個案例真正有價值的地方，是把記憶體決策從“每GB多少錢”轉向“每次任務完成需要多少錢”。當GPU時間昂貴、資料訪問頻繁、機架和電力緊張時，SSD能夠通過縮短等待降低系統成本。若資料長期不訪問，或者容量遠大於熱資料集，HDD仍可能具有更優經濟性。合理架構通常是分層，而不是選擇單一介質。
高頻寬快閃記憶體被部分廠商用來填補HBM與PCIe SSD之間的空檔。它希望通過更寬介面和平行訪問提高NAND頻寬，讓容量成本低於HBM，同時比普通SSD更靠近計算。閃迪與SK海力士等企業已討論相關方案。它距離廣泛量產仍有標準、控製器、耐久、封裝和軟體適配問題，因此現階段應當看作技術選擇，而不是確定替代關係。
持久記憶體還會拉動網路。對象記憶體、NVMe over Fabrics和分佈式檔案系統需要把資料從記憶體節點送到計算節點。若訓練資料跨機櫃分佈，記憶體流量會與GPU同步流量共享交換網路。架構可以通過節點內快取、預取、資料壓縮和獨立記憶體網路緩解衝突。評估記憶體需求時，容量、吞吐、快取命中率和恢復時間必須放在同一張表裡。
記憶體頻寬也可以由任務目標反推。若一個訓練周期要在規定時間內掃描若干PB資料，就能得到最低持續讀取頻寬；Checkpoint大小除以允許的寫入窗口，可以得到最低寫頻寬。再結合快取命中率、壓縮比和冗餘係數，就能估算記憶體節點、網路連接埠和介質數量。這種演算法比直接用GPU數量乘固定SSD容量更可靠。
記憶體行業的驗證指標相對直接。需要觀察企業級SSD出貨容量、QLC滲透、近線HDD容量、資料中心平均售價、客戶庫存和交期。還要跟蹤雲廠商是否擴大高性能記憶體層，以及Checkpoint頻率和模型恢復目標是否提高。只有容量增長而吞吐配置不變，系統利用率改善可能有限。
五、Scale-up和Scale-out解決的通訊不同
互聯需求必須先按通訊範圍拆分。Scale-up把多顆加速器組成一個更大的計算域，要求高頻寬、低延遲和強一致性；Scale-out連接多個計算域和機櫃，更強調可擴展性、擁塞控制和容錯。二者都可能使用乙太網路和光學器件，但連接埠數量、協議和可接受延遲並不相同。
Scale-up承載大量集體通訊。模型平行會在每一步交換梯度、啟動值或專家路由結果，通訊時延直接影響迭代時間。輝達NVLink是目前重要的專有方案，UALink、PCIe和面向Scale-up的乙太網路方案正在擴展選擇。協議競爭會影響交換晶片、retimer、線纜和光學器件的價值分配，也會影響客戶是否被單一生態繫結。
Scale-out把機櫃和叢集連接起來。隨著加速器數量增加，葉脊網路的交換容量、上行連接埠和光模組數量上升。800G已成為高端部署的重要速率，1.6T進入放量準備，3.2T則依賴更高速SerDes、封裝和散熱。單看模組速率不足以估算市場，必須同時考慮網路拓撲、超額訂閱比、每顆加速器連接埠數和光模組復用方式。
摩根士丹利2026年7月的Scale-up報告把2030年市場估計上調至約730億美元，並預計叢集從Blackwell的72顆GPU向Vera Rubin、Rubin Ultra和Feynman繼續擴大。這是基於廠商路線圖和連接埠假設的機構預測。架構變化比數字本身更重要：當計算域從單機櫃擴到多機櫃，線纜長度和連接埠密度會明顯增加，銅的系統優勢開始縮小。
網路需求模型應從每個計算域的通訊量出發。可以用加速器數量、單顆通訊頻寬、拓撲、連接埠復用和光連接比例推導模組需求。市場常見的“每顆GPU對應幾個光模組”只能作為簡化口徑。同一顆GPU在不同架構中可能共用交換上行，也可能通過多平面網路增加連接埠，結果差異很大。
連接埠模型還需要處理阻塞比和冗餘。訓練叢集為了降低尾延遲，往往配置更多網路平面和備用鏈路；推理叢集可能接受更高超額訂閱，以降低單位請求成本。連接埠數相同的兩個叢集，若拓撲、故障域和流量模式不同，光模組價值量也可能相差很大。
六、銅與光的邊界由系統成本決定
短距離內銅仍然具備最低延遲、最低功耗和最低成本。隨著SerDes速率提高，插入損耗、噪聲和串擾上升，系統需要更強SerDes、retimer、DSP和均衡技術維持訊號完整性。銅並沒有在某個固定速率突然失效，它會通過連接器、材料、調製和訊號處理繼續延壽。
摩根士丹利把這一原則概括為“能用銅就用銅，必須用光才用光”。該報告認為直接連接銅纜在機櫃內仍可延續多個產品代際，並預計Scale-up出現有意義的全光遷移不早於2028年。多機櫃Scale-up、電I/O功耗上升、頻寬密度提高和通訊密集型工作負載，是推動光向內遷移的四個條件。
這意味著“光的滲透率”需要按距離分層。Scale-out和資料中心網路已經大量使用光；機櫃間Scale-up可能先採用銅光混合；機櫃內短距仍會長期保留銅。光I/O進一步進入GPU或ASIC封裝，則需要證明它在頻寬密度和能耗上的收益足以覆蓋雷射器、耦合、封裝、測試與維修成本。
伯恩斯坦的1.6T連接對比提供了一個直觀案例。報告估計，重定時可插拔光模組功耗約30W，LPO約10—12W，NPO約9W，CPO約5—8W；AEC約2.5W、覆蓋約4米，無源銅近乎不增加有源功耗但距離約1米。這些值來自特定方案和供應商口徑，不能直接代表所有產品。它們清楚展示了距離與功耗的交換關係。
AEC和CPC會延長銅的生命周期。AEC在銅纜兩端加入重定時器，犧牲一部分功耗和成本來擴大距離；CPC把銅連接靠近交換或計算晶片，減少印刷電路板上的高損耗走線。它們可以解決中短距離問題，也給CPO留下更高的經濟門檻。判斷光何時放量，必須同時觀察銅技術是否繼續進步。
光的優勢主要出現在更長距離和更高頻寬密度。光纖損耗較低，不容易受到電磁干擾，也能通過波分復用提高單根光纖容量。其成本來自電光轉換、雷射器、調製器、探測器、光纖耦合、封裝和測試。距離越短，這些固定成本越難攤薄；頻寬密度越高，節省電I/O和散熱的價值越大。
七、可插拔、LPO、CPO和光I/O不會同時成熟
光互聯會沿可維護性和整合度逐級演進。可插拔模組把光引擎放在面板連接埠，容易更換，生態成熟；LPO減少模組中的DSP以降低功耗，但對交換晶片SerDes、鏈路預算和系統偵錯提出更高要求；NPO把光引擎靠近晶片；CPO再把光引擎與交換晶片共同封裝。整合越深，電走線越短，維修和良率難度也越高。
CPO的系統價值不能只用模組功耗衡量。把光引擎放進交換裝置後，發生故障可能需要讓整台交換機下線，維修成本遠高於更換一個可插拔模組。封裝良率也會把昂貴交換晶片與光引擎繫結。晶圓級測試、光纖陣列耦合、微環調製器溫度穩定和外接雷射器壽命，都可能決定實際TCO。
伯恩斯坦報告預計CPO在2026年下半年先於Scale-out進行小規模匯入，2026—2028年可插拔和LPO仍會佔據主要出貨，Scale-up的大規模遷移更靠後。摩根士丹利也把有意義的Scale-up全光遷移放在2028年以後。兩份報告的具體產品節奏可能變化，但共同指向漸進路線：光先解決已經明確的面板功耗和跨機櫃距離，再逐步靠近交換晶片與加速器。
光I/O需要與交換CPO分開研究。交換CPO縮短的是交換晶片到光引擎的電路徑，產品邊界仍是網路裝置；光I/O芯粒希望把光介面帶到GPU、ASIC或記憶體封裝附近，服務更大規模的Scale-up域和記憶體解耦。後者對延遲、協議、封裝標準和軟體提出更高要求，現有機構材料提供的商業化證據也更少。
OCS又是另一條路線。它通過光路直接連接連接埠，減少部分電交換層和光電轉換，適合穩定、持續時間較長的大流量。其重構時間通常在毫秒級，無法像包交換一樣處理每個短封包。Google等雲廠商已在特定網路中使用光電路交換，AI訓練中的穩定大象流量可能擴大應用，但控制平面和故障恢復仍是落地關鍵。 (404K)