AI晶片的資料通路革命:從DRAM到HBM

今天的記憶體短缺,並不是簡單的大家都缺晶片,而是高端AI記憶體正在擠佔普通記憶體的產能空間。過去DRAM短缺,通常是因為行業減產、需求復甦、庫存去化;但這一次,矛盾的核心是AI產業正在把有限的晶圓產能、封裝產能、測試產能,從普通消費級記憶體拉向高端AI記憶體。而這背後的主角,就是HBM。

一、HBM不是DRAM的對手,而是DRAM的高端形態

很多人容易把HBM和DRAM對立起來,認為HBM是一種新儲存,DRAM是舊儲存。

DRAM是一個大類,全稱是Dynamic Random Access Memory,即動態隨機存取儲存器。DDR、LPDDR、GDDR、HBM都屬於DRAM家族。普通DDRDRAM主要用於PC、伺服器和通用記憶體,LPDDR主要用於手機,GDDR多用於顯示卡,而HBM,即High Bandwidth Memory,高頻寬儲存,是面向AI GPU、高性能計算和資料中心加速卡的高端3D堆疊DRAM。

二、HBM與普通DRAM的核心對比

在AI訓練和推理中,GPU需要不斷讀取模型權重、啟動值、中間結果、梯度資料以及KV Cache。模型參數越大,上下文越長,對記憶體頻寬的要求越高。如果資料供給跟不上,GPU裡的大量計算單元就會等待,導致昂貴算力無法充分釋放。

從表面看,HBM和普通DRAM都是儲存器。但從系統價值看,兩者已經處於完全不同的位置。普通DRAM更像遠處的大倉庫,容量大、成本低、標準化程度高。HBM則更像貼在工廠旁邊的高速立體倉庫,它的價值不只是存資料,而是把資料高速送到計算核心。

所以,AI晶片的競爭已經不只是誰的算力更高,而且還是誰能讓資料流動得更快。

“HBM=堆疊起來的DRAM”最直接的官方圖解 SK海力士這張 "3D TSV DRAM and HBM" 最能說明本質——它把多層DRAM裸片用TSV(矽通孔)垂直打通、疊在最底層的邏輯基片(base die)上,整堆再通過矽中介層(interposer)接到處理器。


三、為什麼普通DRAM會遇到記憶體牆?

傳統DRAM的設計目標,是以較低成本提供較大容量。它適合大規模普及,也適合絕大多數通用計算場景。但是,在AI大模型訓練和高性能計算中,普通DRAM的問題開始顯現。

(1). 資料通道相對較窄。普通DRAM通過記憶體通道、PCB走線或視訊記憶體介面與計算晶片連接,資料傳輸能力受到物理通道限制。

(2). 距離計算晶片較遠。資料從記憶體顆粒到處理器之間,需要經過相對較長的路徑。距離越遠,延遲越高,功耗越大。

(3). 單位資料搬運能耗高。在AI計算中,真正耗電的不只是乘加運算,資料在晶片內部、封裝之間、主機板之間來回移動,同樣會消耗大量能量。

(4). 算力增長速度快於記憶體頻寬增長速度。GPU的計算核心數量快速增加,但傳統記憶體系統的頻寬提升相對有限,結果就是計算能力越來越強,資料供給卻越來越容易成為瓶頸。

這就是所謂記憶體牆:不是不能算,而是資料送不過來。

四、HBM如何突破記憶體牆?

HBM的技術路線,本質上是通過更近、更寬、更立體的方式解決資料搬運問題。

HBM採用多層DRAM晶片垂直堆疊,通過TSV矽通孔實現上下層之間的連接。然後,HBM與GPU或AI加速器通過矽中介層或先進封裝平台進行近距離整合。相比傳統DRAM,HBM的資料通道更寬,資料傳輸距離更短,單位頻寬功耗更低。

五、HBM為什麼貴?為什麼產能擴張慢?

HBM貴,不只是因為需求旺盛,更因為製造難度極高

(1). HBM需要TSV矽通孔。

TSV是在矽片中打出垂直通道,讓不同DRAM層之間實現高速連接。這對工藝精度、可靠性和良率要求極高。

(2). HBM需要多層堆疊。

一顆HBM不是單顆普通晶片,而是多層DRAM die垂直堆疊。層數越高,良率風險越大,只要某一層出問題,整個堆疊體都可能受到影響。

(3). HBM依賴先進封裝。

它通常要與GPU或AI ASIC一起通過2.5D/3D封裝整合,涉及矽中介層、微凸點、鍵合、底填膠、散熱材料、封裝基板和系統級測試。HBM已經不是單一儲存晶片,而是系統級工程。

(4). HBM客戶認證周期長。

HBM面向的是NVIDIA、AMD、Google、AWS等高端客戶,需要在性能、功耗、穩定性、供貨能力和封裝協同上全部達標。路透社在2026年6月報導中指出,SK海力士早年押注HBM,在AI爆發後獲得回報,HBM已成為NVIDIA AI加速器的關鍵部件,而SK海力士也是NVIDIA的主要HBM供應商。

(5). 擴產周期很長。

即使儲存廠商今天決定投資,新的DRAM晶圓廠、封裝廠、測試廠也很難在短期內釋放產能。例如SK海力士近期公佈的大規模韓國投資計畫中,部分DRAM HBM相關產能要到2027年以後才陸續投產,部分大型項目對市場產生明顯影響可能要到2028—2029年。

這解釋了為什麼這一輪記憶體緊缺不容易快速緩解:AI需求增長是即時的,但儲存產能擴張是多年周期。

六、產業鏈價值:HBM改變了DRAM的商業屬性

傳統DRAM是典型的周期品。供給過剩時價格下跌,產能收縮後價格上漲,行業利潤隨周期波動。雖然頭部廠商技術壁壘很高,但產品標準化程度也高,價格周期屬性明顯。

HBM則不同。它繫結AI算力擴張,繫結先進封裝產能,繫結高端GPU客戶驗證。它不只是儲存晶片,而是AI計算系統的一部分。誰能穩定供應HBM,誰就掌握了AI算力產業鏈中的關鍵入口。

這也是為什麼HBM被認為是DRAM產業中最具成長性、最高端、最稀缺的方向。它把DRAM從傳統儲存周期品推向了AI核心部件。

七、HBM不會取代普通DRAM

HBM雖然性能強,但成本高、封裝複雜、供應有限,並不適合所有場景。PC、手機、普通伺服器、汽車電子、工業裝置仍然需要大量普通DRAM。普通DRAM的優勢在於容量、成本、標準化和供應規模。

HBM的優勢在於極高頻寬和系統級效率,因此主要用於高端AI GPU、HPC、資料中心加速卡等場景。

未來的儲存市場,不是HBM取代DRAM,而是DRAM內部分層越來越明顯:通用市場繼續看成本和容量,高端AI市場則看頻寬、功耗和封裝能力。

八、結語

AI晶片競爭,本質上也是資料流競爭。

HBM的崛起說明,AI硬體競爭已經進入新階段。過去我們評價晶片,喜歡看製程節點、電晶體數量、峰值算力和FLOPS。但在大模型時代,真正決定系統效率的,不只是能不能算,同時還是是資料能不能持續送到計算單元。普通DRAM是數字世界的基礎倉庫,支撐了過去幾十年的計算產業。HBM則是AI時代的高速資料供給系統,它把儲存從容量部件升級成了算力釋放部件。

HBM對比普通DRAM,最核心的差異可以概括為:

AI晶片的終極競爭,不只是誰更會算,同時還是誰能讓資料以最低成本流到該去的地方。在這個意義上,HBM不只是DRAM的升級版,而是AI時代突破記憶體牆、釋放算力價值的關鍵基礎設施。

(同時,“AI晶片的終極競爭,不只是誰更會算,同時還是誰能讓資料以最低成本流到該去的地方”這句話的背後,也正是今天HBM、CoWoS、Chiplet、CPO、混合鍵合、3D堆疊、存算一體等技術路線全面爆發的底層邏輯之一。)☕️ (共識與非共識)