過去談 AI 晶片，大家最關注的是 GPU 算力、先進製程和先進封裝。
但在大模型時代，真正限制 AI 晶片性能的，往往不只是“算得有多快”，還有一個更關鍵的問題：
資料能不能及時送到計算核心。
如果 GPU 是高速運轉的工廠，HBM 就是貼著工廠建設的高速立體倉庫。工廠再強，如果原料送不過來，產線也會空轉。
一、HBM 是什麼？
HBM，全稱 High Bandwidth Memory，即高頻寬記憶體。
它本質上是一種 DRAM，但和普通 DDR、GDDR 不同，HBM 不是把記憶體顆粒平鋪在電路板上，而是採用：
多層 DRAM 垂直堆疊 + TSV 矽通孔 + 先進封裝
把多層記憶體晶片堆起來，並放在 GPU 或 AI 加速器旁邊。
簡單理解：DDR 是遠處倉庫，GDDR 是高速倉庫，HBM 是緊貼晶片的立體高速倉庫。
二、HBM 為什麼頻寬高？
HBM 的思路不是單純把訊號頻率拉得更高，而是把資料通道做得非常寬。
傳統記憶體像“少車道高速路”，靠提高車速提升通行能力；HBM 更像“超多車道高速路”，通過更寬的資料介面提升總吞吐量。
因此，HBM 可以在較低功耗下實現 TB/s 等級頻寬，非常適合 AI 訓練和推理。
三、AI 晶片為什麼需要 HBM？
- 大模型需要頻繁讀取參數：大模型擁有海量參數。無論訓練還是推理，晶片都要不斷從記憶體中讀取模型權重和中間資料。如果記憶體頻寬不足，計算核心就會等待資料，形成所謂的 記憶體牆。這時，GPU 雖然算力很強，但實際利用率會下降。
- 長上下文推高視訊記憶體壓力：大語言模型推理時，會產生大量 KV Cache。上下文越長、並行使用者越多，KV Cache 佔用的視訊記憶體容量和頻寬就越高。所以，AI 晶片不僅需要更強算力，也需要更大的 HBM 容量和更高的 HBM 頻寬。
- 訓練比推理更吃記憶體：模型訓練階段不僅要儲存參數，還要處理：
- 啟動值
- 梯度
- 最佳化器狀態
- 中間計算結果
- 分佈式訓練快取
這些都會帶來巨大訪存壓力。沒有 HBM，高端 AI 訓練晶片很難充分發揮性能。
四、HBM 和 DDR、GDDR 有什麼區別？
一句話概括：DDR 適合通用計算，GDDR 適合傳統圖形和部分加速場景，HBM 適合高端 AI 和 HPC。
五、HBM 的核心技術
- TSV 矽通孔：TSV 是貫穿矽片的垂直互連通道，可以讓多層 DRAM 之間高速連接。它縮短了資料路徑，也提高了互連密度。
- 多層堆疊：HBM 會把多層 DRAM 垂直堆疊起來，常見有 8 層、12 層甚至更高堆疊。堆疊越高，容量越大，但良率、散熱和製造難度也越高。
- 先進封裝：HBM 通常通過 2.5D 封裝、矽中介層等技術，與 GPU 或 AI 晶片整合在同一個封裝內。這也是為什麼 HBM 和先進封裝緊密繫結。
六、HBM 為什麼貴
HBM 價格高，主要因為它不是普通記憶體顆粒，而是複雜系統級產品。
- 製造流程複雜：涉及 DRAM、TSV、晶圓減薄、堆疊、鍵合、封裝和測試等多個環節。
- 良率挑戰大：多層晶片堆疊後，任何一層出問題都可能影響整個 HBM 堆疊。
- 先進封裝產能有限：HBM 必須和 AI 晶片近距離整合，因此還受到 CoWoS 等先進封裝產能約束。
七、HBM 的產業鏈格局
目前全球 HBM 主要供應商包括：
- SK hynix
- Samsung
- Micron
在 AI 需求推動下，HBM 已經成為儲存廠商競爭的核心戰場。
競爭重點不只是“誰能做出來”，而是誰能做到：
- 更高頻寬
- 更大容量
- 更低功耗
- 更高良率
- 更穩定供貨
- 更早通過客戶驗證
對於 AI 晶片公司來說，HBM 供應能力已經直接影響產品發佈時間和出貨規模。
八、HBM 的發展趨勢
HBM 正在從 HBM2、HBM3 向 HBM3E、HBM4 演進。
未來方向非常明確：
更高頻寬、更大容量、更高堆疊、更強能效。
尤其是 HBM4，將進一步提升介面寬度和單堆疊頻寬，面向下一代 AI GPU、AI ASIC 和 HPC 平台。
未來，HBM 可能不再只是標準化儲存器，而會越來越多地參與晶片系統級協同設計。
九、總結：為什麼 AI 晶片離不開 HBM？
可以用三句話總結：
第一，AI 晶片不僅需要算力，也需要高速資料供給。
第二，HBM 通過 3D 堆疊和先進封裝，把記憶體頻寬提升到 TB/s 等級。
第三，大模型參數、長上下文和訓練任務持續增長，讓 HBM 成為高端 AI 晶片的核心部件。
未來 AI 晶片競爭，不只是 GPU 架構和先進製程的競爭，也會是：
算力、記憶體、封裝、互連和軟體協同能力的競爭。
HBM 的重要性就在於，它解決的是 AI 晶片最核心的問題之一：
計算核心很強，但資料必須跟得上。
結語
HBM 不是簡單的“更快視訊記憶體”，而是 AI 時代先進封裝、儲存技術和系統架構共同演進的結果。
理解 HBM，就能理解為什麼 AI 晶片越來越依賴先進封裝，為什麼儲存廠商重新站到產業中心，也能理解未來算力競爭為什麼越來越像一場系統工程。
AI 晶片離不開 HBM，因為大模型不只需要強大的計算能力，也需要足夠快的記憶系統。 (Alum聊半導體)