一、一張帳單裡的浪費：HBM 在 prefill 裡幹了什麼

一台 NVIDIA A100 伺服器，光是 HBM 的成本就佔到整塊卡製造費用的18%；到了 B200 上，這個數字攀升到45%。你花了近一半的錢買了高頻寬記憶體——然後在 prefill 階段，讓它空轉。

HMA-Serve 論文（arXiv:2606.29986）裡有一組測量資料：在 4K token 長度的 prefill 任務上，A100 的 HBM 頻寬利用率不足3%。16K token 時，這個數字跌到1% 以下。換句話說，你有一條八車道高速，但卡車只開了半條。

下圖展示了不同晶片在 prefill（高算術強度）和 decode（低算術強度）下的天花板差異：

各廠商晶片在 prefill 與 decode 下的 Roofline 分析

MemHA 要回答的核心問題：為什麼非得用最貴的記憶體，去幹一件幾乎不需要頻寬的事？

二、兩種記憶體，各有各的好命

在正式介紹方案之前，先搞清楚兩種記憶體的底層差異——這是理解 MemHA 的前提，也是"為什麼便宜方案行得通"的根本原因。

HBM（High Bandwidth Memory）的核心設計思想是：把多層 DRAM 晶片疊在一起，通過 TSV（Through-Silicon Via，穿矽打孔）垂直打通，再用矽中介層（Interposer）和 GPU 晶片封裝在一起。

頻寬極高：因為 DRAM 層和 GPU 直接挨著，資料匯流排極短，多層平行讀寫，頻寬可達2–8 TB/s

延遲極低：短匯流排意味著資料從記憶體到 GPU 計算單元路徑短，讀取延遲只有幾十納秒

代價很直接：TSV 打孔工藝複雜、良率要求高，矽中介層成本貴，HBM3e 的合同價格大約是每 GB 15 美元，是普通 GDDR 的約10 倍。

HBM 真正發揮價值的地方是 LLMdecode 階段：每生成一個 token，都要把整個 KV cache 和模型權重從記憶體讀一遍——30B 模型權重約 60 GB，對頻寬要求極端苛刻，沒有 HBM 就是等待。

2.2 GDDR：頻寬不如 HBM，但勝在便宜

GDDR（Graphics Double Data Rate）是傳統顯示卡的記憶體方案：晶片直接焊在 PCB 板上，通過普通 PCB 走線和 GPU 相連。

焊在 PCB 上的好處是工藝簡單、成本低，但代價是匯流排更長、頻寬受限：GDDR6 頻寬約864 GB/s，只有 HBM 的四分之一。

價格差距懸殊：Tenstorrent Blackhole p150（GDDR 加速器）算力約 664 TFLOPS（BFP8），售價約1300 美元；一塊 A100 要16000 美元以上，算力/美元比，p150 領先接近一個數量級。

關鍵洞察：GDDR 頻寬不夠，但 LLM 推理裡有一個階段根本不需要那麼高的頻寬——prefill。

2.3 prefill 和 decode：兩個完全不同的計算模式

在講異構方案之前，有必要把這兩個階段徹底搞清楚——它們是整個設計的出發點。

當你在對話方塊輸入一段話，傳送給大模型，模型首先要把你輸入的所有文字（prompt）全部平行處理一遍，生成內部狀態，然後才吐出第一個字給你。這整個過程——從接收 prompt 到輸出第一個 token——就叫 prefill。

在計算上，prefill 做的是矩陣乘矩陣（GEMM）：把整段 prompt 的所有 token 打包成一個矩陣，一次性和模型權重相乘。因為單次操作處理了很多 token，每次讀記憶體能被大量計算"均攤"，算術強度高，頻寬壓力小。

Prefill 完成後，模型開始一個字一個字往外吐——每次只生成一個 token。這就是 decode 階段，也就是你看到文字在螢幕上流出來的過程，直到模型輸出完整回覆。

在計算上，decode 做的是矩陣乘向量（GEMV）：每次只處理一個 token，計算量極低。但每次生成都必須把 KV cache（之前所有 token 的歷史狀態）和全量權重從記憶體讀一遍——頻寬瓶頸，計算單元反而空著等。

. prefill = 廚房大批次備菜：廚師一次切 100 盤食材，刀工要快（算力強），但不需要特別貴的配菜架（頻寬）

. decode = 服務員端菜上桌：每次只端一盤，但要在 100 張桌子之間跑來跑去——最需要的是腿快（頻寬），而不是刀工

這個比喻會貫穿全文，幫你理解後面的三把鑰匙。

三、跨廠商的好主意，撞上兩個大坑

GDDR 加速器（如 Tenstorrent p150）承擔 prefill，算力強、便宜，頻寬差無所謂

HBM GPU（如 NVIDIA A100）承擔 decode，高頻寬硬需求完美匹配

理論上很美——工程上，兩個繞不開的坑。

prefill 跑完，要把 KV cache 交給 decode 端繼續用。但 Tenstorrent 的 p150 輸出的是BFP8 tiled 佈局（一種分塊的低精度格式），而 NVIDIA 的 FlashAttention 期待的是paged row-major BF16（按行排列的 BF16 浮點）。

兩邊格式完全不同：精度不同（BFP8 vs BF16）、記憶體排布不同（tiled vs row-major）、分頁邏輯不同。

回到餐廳比喻：廚房（p150）做好了菜，但菜的包裝格式是日式便當盒；服務員（A100）只認法式蓋盤——直接傳過去，雙方互不認識。

如果強行在傳輸前做格式轉換，會多一次全量資料讀寫，額外消耗 HBM 頻寬，正好是 decode 最稀缺的資源。

prefill 產生的 KV cache 體積不小：Qwen3-32B 在 8K 上下文時，一次 prefill 約輸出1 GB的 BFP8 KV cache。

100 Gbps RDMA 網路下，傳這 1 GB 要100–200 ms——幾乎和 prefill 本身一樣長。

如果順序執行（prefill 全部完成 → 傳輸 → decode 開始），使用者看到的首 token 延遲（TTFT）就是：

TTFT = prefill 時間 + 傳輸時間 + decode 第一步     ≈ 100ms + 150ms + ? = 250ms+

而同構系統（全用 A100）TTFT 只有 100ms 左右——直接翻倍。

回到餐廳比喻：廚房做完所有菜，才開始往服務員那邊送——客人等了做菜的時間，又等了運輸時間，然後才開始吃。

HMA-Serve 是論文提出的完整系統，三個機制協同，每把鑰匙對應一個坑，最後合力解決問題。下圖展示了 HMA-Serve 的整體架構：

4.1 鑰匙一：分階段量化（解決格式問題）

核心想法：兩邊不強行統一格式，各用各的最優精度。

prefill 在 p150 上用 BFP8（高算力效率）

decode 在 A100 上用 BF16（高精度，防累積誤差）

中間傳輸時：保持 BFP8 raw bytes 原樣傳過去，不做格式轉換，到 decode 端再處理

為什麼 prefill 用 BFP8 不會掉精度：prefill 計算的是 KV cache 的初始值，這個值在 decode 階段會被重新精算重建——prefill 差一點沒關係，decode 精確就行。實驗結果也驗證了這一點：MATH500 全 BF16 vs BFP8 prefill+BF16 decode，精準率沒有顯著差別。

回到餐廳比喻：廚房（p150）用快速粗切（BFP8），配菜裝在密封盒裡原樣運給服務員；服務員（A100）在客人桌邊重新精確擺盤（BF16）——廚房省了功夫，客人吃到的還是精緻料理。

4.2 鑰匙二：計算-傳輸流水線（解決 TTFT 問題）

核心想法：不等 prefill 全部完成才傳，prefill 是逐層（layer by layer）執行的，第 i 層算完，KV cache 立刻推送——後續層的計算和前面層的傳輸平行進行。

具體：Transformer 有 32/64 層，layer 0 算完即傳，layer 1 還在算的時候 layer 0 的 KV 已經在路上了，最終大部分傳輸時間被計算時間"掩蓋"掉。

回到餐廳比喻：廚房不是"所有菜做完才出餐"，而是"前菜做好先端上去，主菜還在做，甜點再做"——客人開始吃前菜時廚房沒停，TTFT 就是等第一道前菜，而不是等全桌菜。

效果：高並行場景下，TTFT 幾乎不受傳輸影響，decode 側隨時有可用的 KV。

4.3 鑰匙三：延遲反量化（解決格式轉換開銷）

核心想法：BFP8 bytes 傳到 A100 後不立刻轉成 BF16——先存著，等到 paged-attention kernel 執行時在內部融合處理：BFP8→BF16 轉換、tiled→row-major 佈局變換、後 RoPE key re-layout，三件事一次 pass 搞定。

為什麼行得通：BFP8→BF16 本質是 bit manipulation（移位、掩碼、OR），走的是 GPU 的整型 ALU，不和 GEMM 佔用的 tensor core 爭資源——二者幾乎不衝突。

回到餐廳比喻：服務員端到桌邊再當著客人拆開密封盒、重新擺盤——拆盒和擺盤同時做，等菜上桌時已經是精緻法式蓋盤，客人感覺不到任何額外等待。

數字：融合後格式轉換耗時約1 ms（樸素 elementwise 實現要 8 ms），decode 吞吐僅下降約1%。

5.1 論文實測：降本幾倍、損失幾個點

測試配置：4 塊 Tenstorrent Blackhole p150（prefill 端）+ 1 塊 NVIDIA A100 80GB（decode 端），100 Gbps RoCE 網路互聯。

基線：DistServe-Homo（同構 1P1D，2 塊 A100）。

下圖展示了 HMA-Serve 在四種模型規模下，與各基線系統的端到端 goodput 對比（SLO 達成率 vs 請求量，以及 TTFT/TPOT 延遲分佈）：

HMA-Serve 端到端性能對比（arXiv:2606.29986）

Qwen3-8B（ShareGPT 混合負載）：HMA-Serve goodput 領先+3.2×

Qwen3-14B（LongBench 長上下文）：goodput 領先+2.4×

Qwen3-32B（arXiv 摘要任務）：goodput 領先+1.8×

Qwen3-4B（512 token 短 prompt）：goodput 略低約-10%，但成本效率仍更優

下圖進一步展示單位美元 goodput（goodput-per-dollar），即成本效率對比：

HMA-Serve 成本效率（goodput-per-dollar）對比

Qwen3-8B：4.8× 領先DistServe-Homo（同構雙 A100）

核心結論：質量無損——MATH500、AIME24、AIME25 三個 benchmark，HMA-Serve 追平全 BF16，沒有顯著精度損失。

LLM 推理系統最省錢的點，恰好在兩個不同廠商產品之間，不在任何單一廠商的產品線內部。

NVIDIA 自己也認同這個方向：Rubin CPX 就是面向 prefill 的 GDDR-based 加速卡，設計上就是和 HBM 的 Rubin 搭檔使用。

prompt 較長（≥ 4K token）的 prefill-heavy 工作負載：prefill 成為瓶頸，GDDR 的平行優勢最明顯

batch 較大或並行較高的線上服務：流水線 pipeline 效果最好

對成本敏感、硬體預算有限的中小型推理叢集

KV 格式對齊是硬骨頭：需要自研 fusion kernel，不是裝個外掛就搞定的

prefill runtime 需要侵入：逐層 completion event 需要 monkey-patch SDK，封閉商業 SDK 會很麻煩

前面幾篇我們一直在講 DRAM。我們聊了電腦為什麼需要記憶體，也講了 DRAM 怎麼用電容存 0 和 1，還講了為什麼它需要不斷刷新。但如果你平時看電腦、手機、顯示卡、AI 伺服器的參數，會發現一個很容易讓人迷糊的現象：電腦記憶體叫 DDR、手機記憶體叫 LPDDR、顯示卡視訊記憶體叫 GDDR、現在 AI 伺服器又天天在搶 HBM。

它們名字都不一樣，看起來像是幾類完全不同的晶片。但從大方向上看，它們其實都屬於 DRAM 這個大家族。那既然都是 DRAM：

為什麼 AI 晶片又突然離不開 HBM？

今天我們就來仔細聊聊這幾者的區別， 首先我們要先明確：

DDR、LPDDR、GDDR、HBM 不是誰比誰“高級”這麼簡單，而是面對的系統需求不一樣。

電腦關心通用性、容量、性能和成本平衡。手機關心功耗、體積和封裝空間。顯示卡關心頻寬，因為 GPU 要同時喂很多計算單元。AI 伺服器更極端，不只是要頻寬，還要在有限封裝裡把資料儘可能近地送到 GPU 或 AI 晶片旁邊。所以同樣是 DRAM，不同系統會走出不同路線。

我們最熟悉的 DRAM，大概就是電腦裡的記憶體條。比如 DDR4、DDR5。DDR 的全稱是 Double Data Rate，意思是雙倍資料速率。簡單理解，就是在時鐘的上升沿和下降沿都傳資料，讓資料傳輸效率更高。

普通使用者不需要死記這個定義。你只要知道，DDR 是 PC 和伺服器裡最典型的通用記憶體路線。它的目標不是在某一個指標上極端，而是要平衡很多東西， 像容量要夠大、性能要夠用、成本要能接受、生態要成熟。

主機板、CPU、記憶體控製器、插槽、電源、散熱，都要配合得起來。這就是為什麼桌面電腦和伺服器長期使用 DDR 系列記憶體。

電腦是通用計算裝置。它不是只跑一種任務，也不是只服務一種晶片。你可能用它打開瀏覽器，可能用它寫程式碼，可能用它跑模擬，可能用它剪視訊，也可能用它開虛擬機器。

所以 DDR 要照顧的是一個很寬的使用場景。它不能只追求極致低功耗，因為桌上型電腦和伺服器可以接受相對更高的功耗。它也不能像 HBM 那樣不計成本地追求封裝內超高頻寬，因為普通 PC 和大規模伺服器記憶體需要考慮成本、擴展性和維護便利性。

DDR 的位置更像是一個成熟的通用方案。它不是最省電的，也不是頻寬最誇張的，但它適合大規模使用，適合標準化擴展，也適合在容量、性能、成本之間做平衡。所以我們說：DDR 是通用主記憶體。它服務的是 CPU 和通用計算系統。

手機裡的運行記憶體，通常不是普通 DDR，而是 LPDDR。LP 是 Low Power，也就是低功耗。這個名字已經把它的核心目標說出來了：手機最怕耗電。

手機不像桌上型電腦，有大電源、大散熱器、大機箱。手機空間很小，電池有限，還要控制發熱。你不可能讓手機記憶體像桌上型電腦記憶體條那樣佔空間、插插槽、拉長距離傳訊號。

所以 LPDDR 的設計重點，就是低功耗、小封裝、適合移動裝置。它通常會和手機 SoC 放得很近，甚至通過封裝方式疊在一起或者緊密整合，減少走線距離，降低功耗，提高效率。不過，LPDDR 不是“低端 DDR”。它是針對移動裝置重新最佳化過的 DRAM 路線。

手機不只是要求性能，還要求待機功耗低、喚醒快、封裝緊湊、發熱可控。很多時候，功耗比單純的峰值頻寬更重要。可以想像一下，手機鎖屏放在口袋裡，如果記憶體系統還像桌上型電腦那樣持續消耗大量功耗，電池很快就受不了。

所以 LPDDR 會特別強調低功耗狀態、資料保持、自刷新、動態功耗管理等能力。這就是為什麼手機、平板、輕薄本、一些低功耗 AI 裝置更喜歡 LPDDR。它犧牲了一些普通 DDR 在可插拔擴展和標準記憶體條形態上的便利，換來了更低功耗和更適合移動裝置的封裝方式。

所以，LPDDR 是為移動裝置和低功耗系統準備的 DRAM。它服務的是手機、平板、輕薄本這類對功耗和空間非常敏感的裝置。

再看顯示卡。顯示卡上的視訊記憶體常見的是 GDDR，比如 GDDR6、GDDR7。這裡的 G，基本可以理解成 Graphics，面向圖形和 GPU 場景。

GPU 和 CPU 的工作方式不太一樣：

CPU 更擅長處理複雜控制、分支、作業系統調度、通用程序邏輯。它很在意延遲，也很在意單線程性能和通用性。

不管是遊戲渲染、圖形處理，還是一些平行計算任務，GPU 裡面都有大量計算單元同時工作。這些計算單元如果想持續運轉，就需要記憶體源源不斷地提供資料。這時候，頻寬就變得非常關鍵。

頻寬可以簡單理解成：單位時間內能搬多少資料。GPU 有點像一個大型工廠，裡面有很多生產線同時開工。機器越多，原料供應就越重要。如果原料運不過來，機器再多也只能等。GDDR 就是為了這種場景設計的。

它比普通 DDR 更強調高頻寬，更適合顯示卡這種高吞吐訪問模式。所以消費級顯示卡一般會配 GDDR 視訊記憶體，而不是普通 DDR 記憶體。這不是說 DDR 不能存資料，而是 DDR 的系統定位和介面形態不適合顯示卡對高頻寬的需求。當然，GDDR 也不是沒有代價。它的功耗、訊號設計、PCB 佈局、視訊記憶體顆粒數量、顯示卡供電和散熱，都要一起考慮。但在消費級顯示卡裡，GDDR 在性能、成本和工程複雜度之間做到了比較好的平衡。

所以，GDDR 是為 GPU 高頻寬訪問準備的視訊記憶體路線。它服務的是圖形渲染、遊戲、平行計算這類吞吐型任務。

現在最火的，當然是 HBM。HBM，全稱是 High Bandwidth Memory，高頻寬記憶體。如果說 DDR 是通用主記憶體，LPDDR 是低功耗記憶體，GDDR 是顯示卡高頻寬視訊記憶體，那麼 HBM 就是更進一步的高頻寬路線。它的思路和 DDR、GDDR 不太一樣。

DDR 和 GDDR 更像是在傳統平面系統裡，把傳輸速度、介面設計、訊號能力不斷往上推。

HBM 則更像是換了一種打法：不只是讓路跑得更快，而是把路修得更寬、更近。HBM 會把多層 DRAM die 豎著堆起來，通過 TSV 等技術連接，再通過先進封裝和 GPU、AI 晶片放得很近。這樣做的好處很明顯：

這正好適合 AI 訓練和高性能計算。因為大模型訓練和推理都非常吃資料。模型參數要從視訊記憶體裡讀出來。中間啟動要保存和讀取。KV Cache 要佔空間。矩陣計算單元需要持續不斷地被喂資料。如果視訊記憶體頻寬不夠，GPU 或 AI 晶片裡的計算單元就會空轉。這就是為什麼現在高端 AI 晶片越來越離不開 HBM。

很多人看 AI 晶片，只看算力，比如多少 TFLOPS，多少 TOPS。但真正跑大模型時，光有算力不夠。你還得看視訊記憶體容量夠不夠，頻寬夠不夠，資料能不能持續送進去。HBM 的價值就在這裡。它不是普通意義上的“更貴視訊記憶體”，而是高端 AI 算力系統裡的關鍵資源。

五、HBM 會不會全面替代 DDR 和 GDDR？

個人感覺不能這麼簡單理解。HBM 很強，但它強在特定位置。它適合高端 GPU、AI 加速器、HPC 這類極度需要高頻寬的場景。但 HBM 的代價也很高。它依賴多層 DRAM 堆疊、依賴 TSV、依賴先進封裝。還要考慮 interposer、封裝良率、散熱、供電、測試和供應鏈。這些都比普通 DDR 或 GDDR 複雜得多。

所以 HBM 不是“全面替代 DDR”的路線。普通電腦沒有必要為了日常辦公、瀏覽器、輕度生產力去上 HBM。成本和系統複雜度不划算。手機也不會簡單用 HBM 替代 LPDDR。手機最關心的是功耗、空間、成本和整體 SoC 封裝生態。消費級顯示卡也不會全部立刻換成 HBM。GDDR 在成本、供應、PCB 設計、性能之間仍然有自己的優勢。這就是大家容易犯的認知錯誤：看到 HBM 很熱，就覺得它會取代一切。工程上永遠要問：這個場景到底缺什麼？缺容量？缺頻寬？缺低功耗？缺低成本？缺可擴展性？缺封裝空間？

不同問題，對應不同儲存方案。所以 HBM 不是萬能記憶體。它是為極高頻寬場景準備的高端方案。

六、為什麼不同 DRAM 不能隨便替換？

從外面看，DDR、LPDDR、GDDR、HBM 都是 DRAM，似乎只是名字不同。但在真實系統裡，它們不能隨便互換。因為它們背後的介面、電氣特性、封裝方式、控製器設計、功耗模式、系統佈局都不一樣。

CPU 平台支援 DDR，就需要對應的 DDR 控製器、主機板布線、插槽、電源和 BIOS/韌體配合。

手機 SoC 支援 LPDDR，就要圍繞低功耗和緊湊封裝設計。

顯示卡支援 GDDR，就要考慮 GPU 視訊記憶體控製器、視訊記憶體顆粒佈局、視訊記憶體位寬、PCB 走線、供電和散熱。

HBM 更複雜，它不是簡單把顆粒焊在板子上，而是要和主晶片通過先進封裝放在一起，整個封裝設計從一開始就要考慮 HBM。

所以儲存不是單獨的一顆晶片。它是系統的一部分。你不能只問“這個記憶體快不快”，還要問：這個 CPU 或 GPU 支不支援？主機板或封裝能不能放得下？功耗和散熱能不能接受？成本能不能承受？供應鏈能不能穩定？

這也是為什麼同樣是 DRAM，不同系統會選擇不同路線。

如果只用一段話來總結，可以這樣記：

DDR 像電腦和伺服器裡的通用工作台，容量、性能、成本都要平衡。

LPDDR 像手機裡的省電工作台，空間小、功耗低、離 SoC 很近。

GDDR 像顯示卡裡的高速傳送帶，重點是給 GPU 提供足夠高的頻寬。

HBM 像 AI 晶片旁邊的超寬高速通道，通過堆疊和先進封裝，把大量資料近距離送到計算單元旁邊。

它們都屬於 DRAM 家族，但站的位置完全不同。

HBM 解決高端 AI/GPU 的極限頻寬問題。

這就夠了。不要把它們理解成誰比誰高級，而要理解成誰更適合什麼系統。

結尾：記憶體名字變多，是因為系統需求變複雜了

看到這裡，再回到開頭的問題：

為什麼電腦用 DDR，手機用 LPDDR，顯示卡用 GDDR，AI 伺服器搶 HBM？

因為它們面對的系統壓力不一樣。電腦和伺服器需要通用、穩定、可擴展的主記憶體，所以用 DDR。手機和平板要低功耗、小體積、適合封裝，所以用 LPDDR。顯示卡要高頻寬，持續喂飽 GPU，所以用 GDDR。高端 AI 晶片和 HPC 加速器對頻寬更加極端，又需要近距離、高能效的資料通道，所以用 HBM。

儲存晶片不是孤立存在的。它永遠要和 CPU、GPU、SoC、封裝、主機板、電源、散熱、軟體負載一起看。所以，不同 DRAM 不是隨便替換，而是系統需求不同，工程取捨不同。   (文觀經技)

在輝達一步步站穩萬億市值腳根的道路上，少不了兩項關鍵技術支援，其中之一是由台積電主導的CoWoS先進封裝，另一個便是席捲當下的HBM（高頻寬儲存）。

輝達H200是首次採用HBM3E儲存器規格的AI加速卡。借助記憶體速度更快、容量更大的HBM3e，輝達H200以每秒4.8TB的速度提供141GB的記憶體，與A100相比，容量幾乎是其兩倍，頻寬也提升了43%，從而加速生成式AI和大語言模型，提高高性能計算（HPC）的工作負載。

隨著人工智慧的興起，HBM成為巨頭們搶佔的高地。三星、SK海力士、美光等儲存巨頭紛紛將HBM視為重點生產產品之一。

HBM的火熱，給市場掀起巨大波瀾。一起看看HBM這股熱潮給市場帶來了哪些轉折？

HBM成為力挽行業下行的關鍵詞之一

數個季度的持續低迷下，頭部儲存廠商相繼展現出季度收入環比增長趨勢，其中以SK海力士的表現最為亮眼，背後就離不開由HBM拉動對DRAM的需求提升。

今年Q1，SK海力士收入創歷史同期新高，營業利潤也創下了市況最佳的2018年以來同期第二高，公司將其視為擺脫了長時間的低迷期，開始轉向了全面復甦期。 SK海力士表示：“憑藉HBM等面向AI的儲存器技術領導力，公司提升了面向AI伺服器的產品銷量，同時持續實施以盈利為主的經營活動，從而實現了營業利潤環比增長734%的業績。”

三星電子曾表示生成式AI市場應用將帶來HBM等支援大規模資料處理的記憶體產品需求快速增長，公司接到了大量客戶需求。預計2024年HBM的需求可能出現陡峭增長。

美光表示，AI伺服器的DRAM容量是普通伺服器的6倍到8倍，NAND容量是普通伺服器的3倍。輝達DGX GH200所需的DRAM容量是普通伺服器的數百倍。

通用型DRAM記憶體晶片面臨的供應短缺，主要源於業界對HBM等類型的DRAM進行了大量的投資，而通用型DRAM的產能利用率相對較低。目前，三星和SK海力士的產能利用率僅為80%到90%，遠低於NAND快閃記憶體的全速生產狀態。

自2024年初以來，通用型DRAM的產能僅提升了大約10%，但智慧型手機、PC和伺服器市場的增長率預計僅為2%到3%。全球雲端運算和科技公司在AI基礎設施上的投資削減，並未能顯著推動DRAM需求的復甦。

然而，在同一時期內，企業級固態硬碟（eSSD）的需求卻因人工智慧的普及而激增。因此，三星、SK海力士等主要製造商在第二季度滿負荷運行其NAND生產線。此外，鎧俠也在市場條件改善後結束了減產，NAND產能利用率恢復至100%。

由於通用DRAM記憶體晶片在消費市場，如個人電腦和移動終端等領域發揮著巨大作用，而隨著市場需求的放大，可能會出現大範圍的短缺。根據摩根士丹利最新報告，全球記憶體市場在2025年將迎來一次前所未有的供需失衡，2025年HBM的供應不足率將達到-11%，而整個DRAM市場的供應不足率將高達-23%。

儲存巨頭在HBM技術領域的爭奪戰日益激烈，從HBM1到HBM2、HBM3，再到最新的HBM3e，每一代技術的演進都標誌著儲存性能的顯著提升和市場競爭的加劇。

HBM1最早於2014年由AMD與SK海力士共同推出，作為GDDR競品，為4層die堆疊，提供128GB/s頻寬，4GB記憶體，顯著優於同期GDDR5。

HBM2於2016年發佈，2018年正式推出，為4層DRAMdie，現在多為8層die，提供256GB/s頻寬，2.4Gbps傳輸速度，和8GB記憶體。

HBM2E於2018年發佈，於2020年正式提出，在傳輸速度和記憶體等方面均有較大提升，提供3.6Gbps傳輸速度，和16GB記憶體。

HBM3於2020年發佈，2022年正式推出，堆疊層數及管理通道數均有增加，提供6.4Gbps傳輸速度，傳輸速度最高可達819GB/s，和16GB記憶體。

HBM3E由SK海力士發佈HBM3的增強版，提供高達8Gbps的傳輸速度，24GB容量，2024年開始大規模量產。

然而這不僅僅是一場單純的技術較量，更是一場激烈無比的產能競賽。

根據儲存三巨頭表示，今年的HBM供應能力已全部耗盡，明年的產能也已經大部分售罄。據專業機構分析，今明兩年HBM需求的動態缺口約為產能的5.5%和3.5%。因此，三大廠商紛紛開啟產能衝刺競賽。比如SK海力士正在大幅擴產第5代1b DRAM，以應對HBM與DDR5 DRAM的需求增加。按照晶圓投入量看，公司計畫將1b DRAM月產能從今年一季度的1萬片增加到年末的9萬片，到明年上半年進一步提升至14萬-15萬片，是今年一季度產能的14-15倍。三星3月底曾表示，預計今年HBM產能將增至去年的2.9倍。美光正在美國建設先進的HBM測試生產線，並考慮首次在馬來西亞生產HBM，以抓住AI熱潮帶來的更多需求。

根據產品分類，DRAM 可以分為 DDR、LPDDR、GDDR、HBM。前三類產品主要用於傳統週期領域，HBM 則主要是 AI 市場的帶動。其中 DDR 主要用於消費電子、伺服器、PC 領域；LPDDR主要用於移動裝置、手機及汽車領域；GDDR 主要用於圖像處理方面的 GPU 等。

隨著資料量越發龐大加上AI晶片的加速發展，馮氏計算架構問題凸顯：“存”“算”之間性能失配，使得電腦的計算能力增長遇到瓶頸，雖然多核平行加速技術可以提高算力，但儲存頻寬的限制仍對計算系統的算力提升產生了制約。GDDR是目前應用較為廣泛的視訊記憶體技術，但在AI計算領域GDDR也難堪重任，於是製造商將目光投向HBM技術。

HBM具備高頻寬的優勢。通過多層堆疊，HBM能達到更高的I/O數量，使得視訊記憶體位寬達到1024位，幾乎是GDDR的32倍，視訊記憶體頻寬顯著提升。視訊記憶體頻寬顯著提升解決了過去AI計算“記憶體牆”的問題，HBM逐步提高在中高端資料中心GPU中的滲透比率。

HBM具備高密度、小體積等優勢。相比傳統DRAM，HBM在相同的物理空間內能夠容納更多的儲存單元，從而提供更高的儲存容量。這對於儲存千億參數乃至更大規模的大模型至關重要。此外，HBM通過3D封裝工藝實現DRAM die的垂直方向堆疊封裝，可以較大程度節約儲存晶片在片上佔據的面積。HBM晶片的尺寸比傳統的DDR4晶片小20%，比GDDR5晶片節省了94%的表面積。根據三星電子的統計，3D TSV工藝較傳統POP封裝形式節省了35%的封裝尺寸。

受構造影響，GDDR的總頻寬上限低於HBM。總頻寬=I/O資料速率（Gb/s）*位寬/8。為解決DDR頻寬較低的問題，本質上需要對單I/O的資料速率和位寬（I/O數*單I/O位寬）進行提升，可分為GDDR單體式方案和HBM堆疊式方案。單體式GDDR採取大幅提升單I/O資料速率的手段來改善總頻寬，GDDR5和GDDR6的單I/O資料速率已達到7 Gb/s到16Gb/s，超過HBM3的6.4 Gb/s。HBM利用TSV技術提升I/O數和單I/O位寬，從而大幅提升位寬，雖然維持較低的單I/O資料速率，但總頻寬遠優於GDDR。

HBM的綜合功耗也低於GDDR。HBM通過增加I/O引腳數量來降低匯流排頻率，從而實現更低的功耗。儘管片上分佈的大量快取能提供足夠的計算頻寬，但由於儲存結構和工藝制約，片上快取佔用了大部分的晶片面積（通常為1/3至2/3），限制了算力提升。

如今，HBM已經成為超級電腦、資料中心等核心設施中不可或缺的關鍵元件，為大規模平行計算提供了堅實的記憶體基礎。尤其在圖形處理領域，HBM的高頻寬特性使得GPU能夠更快速地訪問和處理圖像資料，從而為使用者帶來更加流暢、逼真的視覺體驗。

即便是業界領先的輝達，也對這一產品展現出了高度的依賴性。據悉，輝達近幾年發佈的多款旗艦產品（如A100、H100、H200）均搭配了不同數量的HBM。HBM已然是輝達AI晶片的必備搭檔。然而全球約九成的HBM市場被SK海力士和三星兩家韓系企業壟斷。

03 2024年末，HBM是持續短缺？還是供過於求？

在儲存三巨頭的競爭中，由於海力士HBM3產品性能領先，率先拿下輝達訂單，成為其伺服器GPU的主要供應商。

三星主攻一些雲端客戶的訂單，美光則直接跳過了HBM3，將主要精力放在了HBM3E產品上。僅從當下來看，美光的市場佔有率和前面兩個玩家有一些差距。

但不管怎樣，三位儲存晶片的大佬都在擴產能上不留餘力。比如海力士已經放下豪言壯語，計畫到2028年投資高達748億美元，其中80%將用於HBM的研發和生產，而且將下一代HBM4晶片的量產時間提前到2025年。

據專業機構分析，今明兩年HBM需求的動態缺口約為產能的5.5%和3.5%。

不過根據海豚投研的資料顯示，HBM有望從2023年末的“供不應求”轉為2024年末的“供大於求”。

海豚投研比較了2023—2024年HBM的供需關係情況。 從需求端來看，結合雲服務廠商的資本開支和AI出貨量情況，市場對HBM的需求有望從2023年的284MGB提升至512MGB； 從供給端來看，結合儲存主流廠商的產能計畫，HBM的供給端更可能從2023年的147MGB快速提升至1000MGB以上。

在此供需關係中，2023年供給端僅能滿足需求的1/2，嚴重供不應求。供不應求的局面，推動各家廠商大幅提升產能計畫。如果產能規劃如實落地，2024年的HBM供需關係可能會出現明顯反轉，供給端反而會超出整體的市場需求。

對於HBM的價格，當前由於供給仍相對緊張，因此整體價格在2024年將有所上漲。但隨著三星產品通過認證和產能端的釋放，HBM的產品價格也可能出現回落。

隨著AIGC技術應用的快速發展，AI伺服器和高端GPU的需求持續增長，將進一步推動HBM市場的高速增長。據預計，到2025年，中國HBM的需求量規模有望超過100萬顆。

而中國，在這一賽道還屬於後來者。

不久前，國家積體電路產業投資基金三期橫空出世。大基金三期註冊資本高達3440億元，這一規模遠超前兩期基金，顯示出國家對積體電路產業的重視和大力支援。如此龐大的資金注入，無疑將為積體電路產業的發展提供強大的動力。

目前，大基金三期對外投資重點還未正式披露。據悉，大基金三期有望增加覆蓋人工智慧晶片環節，在HBM產業鏈扶持大型晶圓廠。

今年3月，武漢新芯發佈了《高頻寬儲存芯粒先進封裝技術研發和產線建設》招標項目，這一行動標誌著該公司正式進軍HBM市場。通過利用三維整合多晶圓堆疊技術，武漢新芯旨在打造更高容量、更大頻寬、更小功耗的儲存解決方案，以滿足市場對高性能儲存晶片的需求。面對海外大廠對於 HBM3E 的量產，國記憶體儲廠商也在 HBM 技術上進行著加速突破，有望在 AI 大浪潮的需求下提升競爭實力。

面對海外大廠對於 HBM3E 的量產，國記憶體儲廠商也在 HBM 技術上進行著加速突破，有望在 AI 大浪潮的需求下提升競爭實力。

封測龍頭長電科技在投資者互動中表示，其XDFOI高密度扇出封裝解決方案也同樣適用於HBM的Chip to Wafer 和Chip to Chip TSV堆疊應用；通富微電此前表示，南通通富工廠先進封裝生產線建成後，公司將成為國內最先進的2.5D/3D先進封裝研發及量產基地，實現國內在HBM（高頻寬記憶體）高性能封裝技術領域的突破，對於國家在積體電路封測領域具有重要意義。

中國主要的儲存晶片公司也在與封測廠商通富微電合作開展HBM相關項目。

然而總體來看，國內廠商在HBM技術上的發展仍處於早期階段。儘管國際上已經有了更先進的HBM3和HBM3E產品，但國記憶體儲廠商目前還處於HBM2的研發和產業化階段。

面對海外大廠在HBM3E等先進技術上的量產優勢，國內廠商仍需加快追趕步伐，克服技術壁壘，實現從技術跟隨到技術引領的轉變。在此過程中，客戶對於AI伺服器性能、記憶體頻寬及記憶體大小的持續高要求，既是對HBM技術的巨大挑戰，也是推動其不斷前行的動力源泉。

值得注意的是，儘管HBM在頻寬性能上佔據優勢地位，但其高昂的成本與功耗也促使行業探索更多元化的解決方案。GDDR、LPDDR等記憶體技術的快速發展，為AI處理器提供了更多選擇，尤其是在成本、性能與功耗之間尋求最佳平衡點的應用場景中。例如，GDDR7的推出不僅顯著提升了記憶體容量與資料傳輸率，還因其相對較低的複雜度成為部分AI應用的理想之選。

綜上所述，隨著AI技術的不斷演進與市場需求的日益多樣化，HBM作為高性能儲存技術的代表，將繼續在特定領域發揮關鍵作用。同時，國內廠商需緊抓機遇，加速技術創新與產業升級，以更加靈活多樣的記憶體解決方案，滿足AI時代對高性能計算的多元化需求。 (半導體產業縱橫)

儲存器是人工智慧的驅動力。HBM戰火還在愈演愈烈，另一邊伴隨著美光GDDR 7的送樣，GDDR 7大戰正在悄然打響。

GDDR是Graphics Double Data Rate的縮寫，全稱為雙圖像倍資料速率。它是一種專為圖形處理單元（GPU）設計的同步雙資料速率動態隨機存取儲存器（SDRAM）。1998年，三星電子推出了首款16 Mb GDDR記憶體晶片。自此拉開了GPU和CPU在記憶體道路上的分道揚鑣。起初，顯示卡記憶體相容CPU記憶體，主要使用DDR記憶體，然而鑑於圖像處理需求逐年攀升，顯示卡逐漸轉向採用專門為圖形處理器（GPU）設計GDDR。由於GDDR具有更高的資料傳輸速率和頻寬，在推動GPU的發展過程中起到了很關鍵的作用。

歷經二十餘年發展，GDDR家族已經迭代至第七代，GDDR家族主要有GDDR、GDDR2、GDDR3、GDDR4、GDDR5 和 GDDR6，以及最新推出的GDDR 7。在此，我們先看下前六代的技術和性能上的情況。

雖然GDDR專為GPU設計，但是最開始的一二代GDDR和GDDR 2並沒有比DDR提升很多，因此也沒得到GPU廠商的大規模採用。所以GDDR的正式被認可和迭代可以說是從GDDR3開始。

自GDDR3開始，Nvidia和AMD等主要GPU廠商的參與使得GDDR標準得到了大幅提升，得益於製程工藝的不斷進步，GDDR3記憶體的資料傳輸速率從最初的1GHz一路攀升至2.5GHz，實現了大幅提升，並保持了長達五年的生命週期，為現代圖形處理和計算提供了強大的支援。

GDDR4在GDDR3的基礎上，進一步提升了資料傳輸速率和能效。雖然GDDR4在技術上取得了進步，但由於當時NVIDIA和ATI之間對於GDDR 4標準意見相左，且存在激烈的競爭關係，NVIDIA沒有採用GDDR 4，這導致其市場佔有率相對有限，成本很高，GDDR4很快就被歷史所遺忘。

GDDR5大幅提升了頻寬和速度，成為2008年後高性能顯示卡的標配。GDDR5具有更高的時脈頻率和資料傳輸速率，廣泛應用於各類圖形處理和計算任務中。GDDR5之後，NVIDIA還與美光推出了GDDR5X半代產品，用於NVIDIA高端顯示卡。

而GDDR6則在資料傳輸速率和能效方面進一步提升，成為現代高端GPU的主流選擇。GDDR6X引入了PAM4（Pulse Amplitude Modulation 4）訊號技術，顯著提高了資料傳輸速率。Nvidia在其Ampere架構，如GeForce RTX 3080和RTX 3090，率先採用了GDDR6X記憶體。

可以看出，從最初的GDDR到最新的GDDR6，GDDR記憶體經歷了多次技術迭代和性能提升。每一代GDDR記憶體都在資料傳輸速率、頻寬和能效方面不斷最佳化，滿足了GPU和圖形處理日益增長的需求。如今，它已成為人工智慧和巨量資料應用領域中最受歡迎的記憶體晶片之一。

目前，三星、美光和SK海力士均已開始提供GDDR7記憶體樣品，GDDR 7大戰即將拉開序幕。

三星和SK海力士在今年3月份NVIDIA的GTC大會上均宣佈了各家GDDR7的相關指標。兩家公司都展示了16Gb（2GB）密度的產品，24Gb（3GB）更高版本沒有在這一波浪潮中展現。

按照三星的披露，三星GDDR7晶片能夠在僅1.1 V的DRAM電壓下實現32 Gbps的速度，這超過了JEDEC的GDDR7規範中的1.2 V，這一性能是通過首次應用PAM3訊號實現的。再加上三星特有的其他電源管理創新，能源效率提高了20%，將待機功耗降低 50%，從而減少整體功耗。三星還在封裝基板方面進行了一些創新，它使用了一種導熱性高、熱阻低的環氧模塑料 (EMC) 進行 GDDR7 封裝，以確保有源元件（IC本身）不會過熱，與 GDDR6 晶片相比，熱阻降低了70%。這些晶片採用512M x32組合，採用266針FBGA 封裝。

而SK海力士表示它將提供速度高達40 Gbps的GDDR7晶片。與其前身GDDR6相比，最新的GDDR7產品提供的最大頻寬達到160GB/s，是其上一代產品（GDDR6位80GB/s）的兩倍，功耗效率提升了40%，同時，記憶體密度提升了1.5倍，使得視覺效果也進一步得到增強。獨立的四通道的模式，提高了記憶體平行處理能力，每個通道支援32位元組的資料訪問。除了四通道模式，GDDR7還支援雙通道模式，提供了靈活的組態選項，以適應不同的應用需求和系統架構。

SK海力士GDDR7採用與GDDR6相同的板尺寸，大小為12mm x 14mm，這意味著在設計和製造過程中，GDDR7可以直接替換現有的GDDR6模組，而無需對電路板進行重新設計。此外，GDDR7記憶體還配備了專用的記憶體實現方案和PCB（印刷電路板）設計，以最大化其性能和效率。

SK海力士的16Gb GDDR7 晶片基本已經準備就緒，將在今年晚些時候批次出貨。三星的也在出樣品的過程中。

雖然尚不清楚誰將成為三星和SK海力士GDDR7記憶體的首批客戶，但是考慮到兩家均在NVIDIA GTC2024上進行展示，這也很清楚地表明NVIDIA是其中之一。

2024年6月4日，美光宣佈開始為下一代GPU提供GDDR7記憶體樣品，它有28GB/s和32Gb/s兩種速度。新一代GDDR7採用美光科技的1β (1-beta) DRAM 技術製造，在能效和性能上實現了大幅提升。

HBM 不是全部：GDDR + HBM 異構分解，讓 LLM 推理降本不降速

DDR、LPDDR、GDDR、HBM 有什麼區別？

巨頭搶奪戰，HBM被徹底引爆

爭霸GDDR 7