在輝達一步步站穩萬億市值腳根的道路上，少不了兩項關鍵技術支援，其中之一是由台積電主導的CoWoS先進封裝，另一個便是席捲當下的HBM（高頻寬儲存）。

輝達H200是首次採用HBM3E儲存器規格的AI加速卡。借助記憶體速度更快、容量更大的HBM3e，輝達H200以每秒4.8TB的速度提供141GB的記憶體，與A100相比，容量幾乎是其兩倍，頻寬也提升了43%，從而加速生成式AI和大語言模型，提高高性能計算（HPC）的工作負載。

隨著人工智慧的興起，HBM成為巨頭們搶佔的高地。三星、SK海力士、美光等儲存巨頭紛紛將HBM視為重點生產產品之一。

HBM的火熱，給市場掀起巨大波瀾。一起看看HBM這股熱潮給市場帶來了哪些轉折？

HBM成為力挽行業下行的關鍵詞之一

數個季度的持續低迷下，頭部儲存廠商相繼展現出季度收入環比增長趨勢，其中以SK海力士的表現最為亮眼，背後就離不開由HBM拉動對DRAM的需求提升。

今年Q1，SK海力士收入創歷史同期新高，營業利潤也創下了市況最佳的2018年以來同期第二高，公司將其視為擺脫了長時間的低迷期，開始轉向了全面復甦期。 SK海力士表示：“憑藉HBM等面向AI的儲存器技術領導力，公司提升了面向AI伺服器的產品銷量，同時持續實施以盈利為主的經營活動，從而實現了營業利潤環比增長734%的業績。”

三星電子曾表示生成式AI市場應用將帶來HBM等支援大規模資料處理的記憶體產品需求快速增長，公司接到了大量客戶需求。預計2024年HBM的需求可能出現陡峭增長。

美光表示，AI伺服器的DRAM容量是普通伺服器的6倍到8倍，NAND容量是普通伺服器的3倍。輝達DGX GH200所需的DRAM容量是普通伺服器的數百倍。

通用型DRAM記憶體晶片面臨的供應短缺，主要源於業界對HBM等類型的DRAM進行了大量的投資，而通用型DRAM的產能利用率相對較低。目前，三星和SK海力士的產能利用率僅為80%到90%，遠低於NAND快閃記憶體的全速生產狀態。

自2024年初以來，通用型DRAM的產能僅提升了大約10%，但智慧型手機、PC和伺服器市場的增長率預計僅為2%到3%。全球雲端運算和科技公司在AI基礎設施上的投資削減，並未能顯著推動DRAM需求的復甦。

然而，在同一時期內，企業級固態硬碟（eSSD）的需求卻因人工智慧的普及而激增。因此，三星、SK海力士等主要製造商在第二季度滿負荷運行其NAND生產線。此外，鎧俠也在市場條件改善後結束了減產，NAND產能利用率恢復至100%。

由於通用DRAM記憶體晶片在消費市場，如個人電腦和移動終端等領域發揮著巨大作用，而隨著市場需求的放大，可能會出現大範圍的短缺。根據摩根士丹利最新報告，全球記憶體市場在2025年將迎來一次前所未有的供需失衡，2025年HBM的供應不足率將達到-11%，而整個DRAM市場的供應不足率將高達-23%。

儲存巨頭在HBM技術領域的爭奪戰日益激烈，從HBM1到HBM2、HBM3，再到最新的HBM3e，每一代技術的演進都標誌著儲存性能的顯著提升和市場競爭的加劇。

HBM1最早於2014年由AMD與SK海力士共同推出，作為GDDR競品，為4層die堆疊，提供128GB/s頻寬，4GB記憶體，顯著優於同期GDDR5。

HBM2於2016年發佈，2018年正式推出，為4層DRAMdie，現在多為8層die，提供256GB/s頻寬，2.4Gbps傳輸速度，和8GB記憶體。

HBM2E於2018年發佈，於2020年正式提出，在傳輸速度和記憶體等方面均有較大提升，提供3.6Gbps傳輸速度，和16GB記憶體。

HBM3於2020年發佈，2022年正式推出，堆疊層數及管理通道數均有增加，提供6.4Gbps傳輸速度，傳輸速度最高可達819GB/s，和16GB記憶體。

HBM3E由SK海力士發佈HBM3的增強版，提供高達8Gbps的傳輸速度，24GB容量，2024年開始大規模量產。

然而這不僅僅是一場單純的技術較量，更是一場激烈無比的產能競賽。

根據儲存三巨頭表示，今年的HBM供應能力已全部耗盡，明年的產能也已經大部分售罄。據專業機構分析，今明兩年HBM需求的動態缺口約為產能的5.5%和3.5%。因此，三大廠商紛紛開啟產能衝刺競賽。比如SK海力士正在大幅擴產第5代1b DRAM，以應對HBM與DDR5 DRAM的需求增加。按照晶圓投入量看，公司計畫將1b DRAM月產能從今年一季度的1萬片增加到年末的9萬片，到明年上半年進一步提升至14萬-15萬片，是今年一季度產能的14-15倍。三星3月底曾表示，預計今年HBM產能將增至去年的2.9倍。美光正在美國建設先進的HBM測試生產線，並考慮首次在馬來西亞生產HBM，以抓住AI熱潮帶來的更多需求。

根據產品分類，DRAM 可以分為 DDR、LPDDR、GDDR、HBM。前三類產品主要用於傳統週期領域，HBM 則主要是 AI 市場的帶動。其中 DDR 主要用於消費電子、伺服器、PC 領域；LPDDR主要用於移動裝置、手機及汽車領域；GDDR 主要用於圖像處理方面的 GPU 等。

隨著資料量越發龐大加上AI晶片的加速發展，馮氏計算架構問題凸顯：“存”“算”之間性能失配，使得電腦的計算能力增長遇到瓶頸，雖然多核平行加速技術可以提高算力，但儲存頻寬的限制仍對計算系統的算力提升產生了制約。GDDR是目前應用較為廣泛的視訊記憶體技術，但在AI計算領域GDDR也難堪重任，於是製造商將目光投向HBM技術。

HBM具備高頻寬的優勢。通過多層堆疊，HBM能達到更高的I/O數量，使得視訊記憶體位寬達到1024位，幾乎是GDDR的32倍，視訊記憶體頻寬顯著提升。視訊記憶體頻寬顯著提升解決了過去AI計算“記憶體牆”的問題，HBM逐步提高在中高端資料中心GPU中的滲透比率。

HBM具備高密度、小體積等優勢。相比傳統DRAM，HBM在相同的物理空間內能夠容納更多的儲存單元，從而提供更高的儲存容量。這對於儲存千億參數乃至更大規模的大模型至關重要。此外，HBM通過3D封裝工藝實現DRAM die的垂直方向堆疊封裝，可以較大程度節約儲存晶片在片上佔據的面積。HBM晶片的尺寸比傳統的DDR4晶片小20%，比GDDR5晶片節省了94%的表面積。根據三星電子的統計，3D TSV工藝較傳統POP封裝形式節省了35%的封裝尺寸。

受構造影響，GDDR的總頻寬上限低於HBM。總頻寬=I/O資料速率（Gb/s）*位寬/8。為解決DDR頻寬較低的問題，本質上需要對單I/O的資料速率和位寬（I/O數*單I/O位寬）進行提升，可分為GDDR單體式方案和HBM堆疊式方案。單體式GDDR採取大幅提升單I/O資料速率的手段來改善總頻寬，GDDR5和GDDR6的單I/O資料速率已達到7 Gb/s到16Gb/s，超過HBM3的6.4 Gb/s。HBM利用TSV技術提升I/O數和單I/O位寬，從而大幅提升位寬，雖然維持較低的單I/O資料速率，但總頻寬遠優於GDDR。

HBM的綜合功耗也低於GDDR。HBM通過增加I/O引腳數量來降低匯流排頻率，從而實現更低的功耗。儘管片上分佈的大量快取能提供足夠的計算頻寬，但由於儲存結構和工藝制約，片上快取佔用了大部分的晶片面積（通常為1/3至2/3），限制了算力提升。

如今，HBM已經成為超級電腦、資料中心等核心設施中不可或缺的關鍵元件，為大規模平行計算提供了堅實的記憶體基礎。尤其在圖形處理領域，HBM的高頻寬特性使得GPU能夠更快速地訪問和處理圖像資料，從而為使用者帶來更加流暢、逼真的視覺體驗。

即便是業界領先的輝達，也對這一產品展現出了高度的依賴性。據悉，輝達近幾年發佈的多款旗艦產品（如A100、H100、H200）均搭配了不同數量的HBM。HBM已然是輝達AI晶片的必備搭檔。然而全球約九成的HBM市場被SK海力士和三星兩家韓系企業壟斷。

03 2024年末，HBM是持續短缺？還是供過於求？

在儲存三巨頭的競爭中，由於海力士HBM3產品性能領先，率先拿下輝達訂單，成為其伺服器GPU的主要供應商。

三星主攻一些雲端客戶的訂單，美光則直接跳過了HBM3，將主要精力放在了HBM3E產品上。僅從當下來看，美光的市場佔有率和前面兩個玩家有一些差距。

但不管怎樣，三位儲存晶片的大佬都在擴產能上不留餘力。比如海力士已經放下豪言壯語，計畫到2028年投資高達748億美元，其中80%將用於HBM的研發和生產，而且將下一代HBM4晶片的量產時間提前到2025年。

據專業機構分析，今明兩年HBM需求的動態缺口約為產能的5.5%和3.5%。

不過根據海豚投研的資料顯示，HBM有望從2023年末的“供不應求”轉為2024年末的“供大於求”。

海豚投研比較了2023—2024年HBM的供需關係情況。 從需求端來看，結合雲服務廠商的資本開支和AI出貨量情況，市場對HBM的需求有望從2023年的284MGB提升至512MGB； 從供給端來看，結合儲存主流廠商的產能計畫，HBM的供給端更可能從2023年的147MGB快速提升至1000MGB以上。

在此供需關係中，2023年供給端僅能滿足需求的1/2，嚴重供不應求。供不應求的局面，推動各家廠商大幅提升產能計畫。如果產能規劃如實落地，2024年的HBM供需關係可能會出現明顯反轉，供給端反而會超出整體的市場需求。

對於HBM的價格，當前由於供給仍相對緊張，因此整體價格在2024年將有所上漲。但隨著三星產品通過認證和產能端的釋放，HBM的產品價格也可能出現回落。

隨著AIGC技術應用的快速發展，AI伺服器和高端GPU的需求持續增長，將進一步推動HBM市場的高速增長。據預計，到2025年，中國HBM的需求量規模有望超過100萬顆。

而中國，在這一賽道還屬於後來者。

不久前，國家積體電路產業投資基金三期橫空出世。大基金三期註冊資本高達3440億元，這一規模遠超前兩期基金，顯示出國家對積體電路產業的重視和大力支援。如此龐大的資金注入，無疑將為積體電路產業的發展提供強大的動力。

目前，大基金三期對外投資重點還未正式披露。據悉，大基金三期有望增加覆蓋人工智慧晶片環節，在HBM產業鏈扶持大型晶圓廠。

今年3月，武漢新芯發佈了《高頻寬儲存芯粒先進封裝技術研發和產線建設》招標項目，這一行動標誌著該公司正式進軍HBM市場。通過利用三維整合多晶圓堆疊技術，武漢新芯旨在打造更高容量、更大頻寬、更小功耗的儲存解決方案，以滿足市場對高性能儲存晶片的需求。面對海外大廠對於 HBM3E 的量產，國記憶體儲廠商也在 HBM 技術上進行著加速突破，有望在 AI 大浪潮的需求下提升競爭實力。

面對海外大廠對於 HBM3E 的量產，國記憶體儲廠商也在 HBM 技術上進行著加速突破，有望在 AI 大浪潮的需求下提升競爭實力。

封測龍頭長電科技在投資者互動中表示，其XDFOI高密度扇出封裝解決方案也同樣適用於HBM的Chip to Wafer 和Chip to Chip TSV堆疊應用；通富微電此前表示，南通通富工廠先進封裝生產線建成後，公司將成為國內最先進的2.5D/3D先進封裝研發及量產基地，實現國內在HBM（高頻寬記憶體）高性能封裝技術領域的突破，對於國家在積體電路封測領域具有重要意義。

中國主要的儲存晶片公司也在與封測廠商通富微電合作開展HBM相關項目。

然而總體來看，國內廠商在HBM技術上的發展仍處於早期階段。儘管國際上已經有了更先進的HBM3和HBM3E產品，但國記憶體儲廠商目前還處於HBM2的研發和產業化階段。

面對海外大廠在HBM3E等先進技術上的量產優勢，國內廠商仍需加快追趕步伐，克服技術壁壘，實現從技術跟隨到技術引領的轉變。在此過程中，客戶對於AI伺服器性能、記憶體頻寬及記憶體大小的持續高要求，既是對HBM技術的巨大挑戰，也是推動其不斷前行的動力源泉。

值得注意的是，儘管HBM在頻寬性能上佔據優勢地位，但其高昂的成本與功耗也促使行業探索更多元化的解決方案。GDDR、LPDDR等記憶體技術的快速發展，為AI處理器提供了更多選擇，尤其是在成本、性能與功耗之間尋求最佳平衡點的應用場景中。例如，GDDR7的推出不僅顯著提升了記憶體容量與資料傳輸率，還因其相對較低的複雜度成為部分AI應用的理想之選。

綜上所述，隨著AI技術的不斷演進與市場需求的日益多樣化，HBM作為高性能儲存技術的代表，將繼續在特定領域發揮關鍵作用。同時，國內廠商需緊抓機遇，加速技術創新與產業升級，以更加靈活多樣的記憶體解決方案，滿足AI時代對高性能計算的多元化需求。 (半導體產業縱橫)

儲存器是人工智慧的驅動力。HBM戰火還在愈演愈烈，另一邊伴隨著美光GDDR 7的送樣，GDDR 7大戰正在悄然打響。

GDDR是Graphics Double Data Rate的縮寫，全稱為雙圖像倍資料速率。它是一種專為圖形處理單元（GPU）設計的同步雙資料速率動態隨機存取儲存器（SDRAM）。1998年，三星電子推出了首款16 Mb GDDR記憶體晶片。自此拉開了GPU和CPU在記憶體道路上的分道揚鑣。起初，顯示卡記憶體相容CPU記憶體，主要使用DDR記憶體，然而鑑於圖像處理需求逐年攀升，顯示卡逐漸轉向採用專門為圖形處理器（GPU）設計GDDR。由於GDDR具有更高的資料傳輸速率和頻寬，在推動GPU的發展過程中起到了很關鍵的作用。

歷經二十餘年發展，GDDR家族已經迭代至第七代，GDDR家族主要有GDDR、GDDR2、GDDR3、GDDR4、GDDR5 和 GDDR6，以及最新推出的GDDR 7。在此，我們先看下前六代的技術和性能上的情況。

雖然GDDR專為GPU設計，但是最開始的一二代GDDR和GDDR 2並沒有比DDR提升很多，因此也沒得到GPU廠商的大規模採用。所以GDDR的正式被認可和迭代可以說是從GDDR3開始。

自GDDR3開始，Nvidia和AMD等主要GPU廠商的參與使得GDDR標準得到了大幅提升，得益於製程工藝的不斷進步，GDDR3記憶體的資料傳輸速率從最初的1GHz一路攀升至2.5GHz，實現了大幅提升，並保持了長達五年的生命週期，為現代圖形處理和計算提供了強大的支援。

GDDR4在GDDR3的基礎上，進一步提升了資料傳輸速率和能效。雖然GDDR4在技術上取得了進步，但由於當時NVIDIA和ATI之間對於GDDR 4標準意見相左，且存在激烈的競爭關係，NVIDIA沒有採用GDDR 4，這導致其市場佔有率相對有限，成本很高，GDDR4很快就被歷史所遺忘。

GDDR5大幅提升了頻寬和速度，成為2008年後高性能顯示卡的標配。GDDR5具有更高的時脈頻率和資料傳輸速率，廣泛應用於各類圖形處理和計算任務中。GDDR5之後，NVIDIA還與美光推出了GDDR5X半代產品，用於NVIDIA高端顯示卡。

而GDDR6則在資料傳輸速率和能效方面進一步提升，成為現代高端GPU的主流選擇。GDDR6X引入了PAM4（Pulse Amplitude Modulation 4）訊號技術，顯著提高了資料傳輸速率。Nvidia在其Ampere架構，如GeForce RTX 3080和RTX 3090，率先採用了GDDR6X記憶體。

可以看出，從最初的GDDR到最新的GDDR6，GDDR記憶體經歷了多次技術迭代和性能提升。每一代GDDR記憶體都在資料傳輸速率、頻寬和能效方面不斷最佳化，滿足了GPU和圖形處理日益增長的需求。如今，它已成為人工智慧和巨量資料應用領域中最受歡迎的記憶體晶片之一。

目前，三星、美光和SK海力士均已開始提供GDDR7記憶體樣品，GDDR 7大戰即將拉開序幕。

三星和SK海力士在今年3月份NVIDIA的GTC大會上均宣佈了各家GDDR7的相關指標。兩家公司都展示了16Gb（2GB）密度的產品，24Gb（3GB）更高版本沒有在這一波浪潮中展現。

按照三星的披露，三星GDDR7晶片能夠在僅1.1 V的DRAM電壓下實現32 Gbps的速度，這超過了JEDEC的GDDR7規範中的1.2 V，這一性能是通過首次應用PAM3訊號實現的。再加上三星特有的其他電源管理創新，能源效率提高了20%，將待機功耗降低 50%，從而減少整體功耗。三星還在封裝基板方面進行了一些創新，它使用了一種導熱性高、熱阻低的環氧模塑料 (EMC) 進行 GDDR7 封裝，以確保有源元件（IC本身）不會過熱，與 GDDR6 晶片相比，熱阻降低了70%。這些晶片採用512M x32組合，採用266針FBGA 封裝。

而SK海力士表示它將提供速度高達40 Gbps的GDDR7晶片。與其前身GDDR6相比，最新的GDDR7產品提供的最大頻寬達到160GB/s，是其上一代產品（GDDR6位80GB/s）的兩倍，功耗效率提升了40%，同時，記憶體密度提升了1.5倍，使得視覺效果也進一步得到增強。獨立的四通道的模式，提高了記憶體平行處理能力，每個通道支援32位元組的資料訪問。除了四通道模式，GDDR7還支援雙通道模式，提供了靈活的組態選項，以適應不同的應用需求和系統架構。

SK海力士GDDR7採用與GDDR6相同的板尺寸，大小為12mm x 14mm，這意味著在設計和製造過程中，GDDR7可以直接替換現有的GDDR6模組，而無需對電路板進行重新設計。此外，GDDR7記憶體還配備了專用的記憶體實現方案和PCB（印刷電路板）設計，以最大化其性能和效率。

SK海力士的16Gb GDDR7 晶片基本已經準備就緒，將在今年晚些時候批次出貨。三星的也在出樣品的過程中。

雖然尚不清楚誰將成為三星和SK海力士GDDR7記憶體的首批客戶，但是考慮到兩家均在NVIDIA GTC2024上進行展示，這也很清楚地表明NVIDIA是其中之一。

2024年6月4日，美光宣佈開始為下一代GPU提供GDDR7記憶體樣品，它有28GB/s和32Gb/s兩種速度。新一代GDDR7採用美光科技的1β (1-beta) DRAM 技術製造，在能效和性能上實現了大幅提升。

美光在宣佈這一消息時公佈了一些誘人的數字。該公司表示，32Gb/s GDDR7提供的記憶體頻寬比GDDR6高出60%，在384位匯流排上可達到1.5TB/s的記憶體頻寬。這比其前代產品有了顯著的飛躍，前代產品在RTX 4090等 GPU上的384位記憶體匯流排上最高可達1TB/s。同時，工作電壓降低至1.2V，上一代為1.35V，美光表示，其GDDR7的效率比GDDR6 提高了50%，實現節能的方式主要包括分割電壓平面、部分裝置運行和休眠模式。採用FBGA更薄的封裝高度（1.1mm對比1.2mm）和高熱導EMC封裝，提供65%更好的熱阻，這為桌上型電腦和筆記型電腦提供了更好的熱管理。

美光GDDR7的這些特性提升使其在遊戲、生成式AI、高性能計算（HPC）領域前景廣闊。也就意味著GDDR7可能與HBM相競爭。如美光所述，在遊戲領域，GDDR7預計在每秒幀數（FPS）方面可提升超過30%，特別是在光線追蹤和光柵化工作負載下；在生成式AI應用中，GDDR7提供超過1.5 TB/s的高系統頻寬，預計可將生成式AI文字到圖像生成的響應時間減少多達20%；對於HPC，GDDR7預計能夠減少處理時間，實現複雜工作負載（如動畫、3D設計、科學模擬和金融建模）的無縫多工處理。

據美光的公告，其GDDR7記憶體將於2024年下半年直接從美光以及通過精選的全球管道分銷商和經銷商發售。NVIDIA使用美光的記憶體是板上釘釘了，因為此前美光專門為 Nvidia 製造了GDDR6x，不過在美光GDDR7的公告中也提到了AMD，因此AMD也可能會加入這一行列。

2024年3月，JEDEC發佈了GDDR7 記憶體標準規範。JEDEC 是微電子行業標準制定領域的全球領導者。如下圖所示，GDDR7的每引腳頻寬最高可達48 Gbps，遠高於GDDR6和GDDR6X的24 Gbps。在256位匯流排寬度下，GDDR7的總頻寬達到1024 GB/sec，顯著高於GDDR6和GDDR6X的768 GB/sec。GDDR7的工作電壓為1.2 V，比GDDR6和GDDR6X的1.35 V更低。在訊號技術上， GDDR7採用PAM-3訊號技術，而GDDR6X採用PAM-4，GDDR6則使用傳統的NRZ訊號技術。GDDR7的最大密度達到64 Gb，是GDDR6和GDDR6X的兩倍。GDDR7採用266 FBGA封裝，高於GDDR6和GDDR6X的180 FBGA。

圖表展示了GDDR7相對於前幾代在頻寬、功耗和封裝上的顯著改進。來源：anandtech

GDDR7最大的技術變化在於記憶體匯流排從2位不歸零 (NRZ) 編碼轉換為3位脈衝（-1、0、+1）幅度調製 (PAM3) 編碼。PAM3使GDDR7能夠在兩個週期內傳輸3位資料，僅這一變化就讓資料傳輸效率提高了50%。隨著向PAM3訊號的轉變，記憶體行業有了一條新途徑來擴展 GDDR 裝置的性能並推動圖形和各種高性能應用的持續發展。

上圖可以很直觀的看出NRZ和PAM編碼的不同。

之前的GDDR標準使用非歸零（NRZ）技術，通過兩種訊號電平來傳輸編碼為1或0的資料。這種方法在多個GDDR世代中都足夠使用，但隨著時鐘速度和系統複雜性的增加，成為了一大瓶頸。為瞭解決這一挑戰，美光與輝達推出了採用多級訊號技術的創新GDDR6X技術。美光是唯一提供GDDR6X的公司，GDDR6X利用PAM4訊號技術，提供了業界領先的>1.1 TB/s頻寬。

美光在GDDR6X方面的成功和經驗為下一代使用類似訊號方法的GDDR奠定了基礎。雖然PAM3每週期傳輸的位元數量低於GDDR6X上的PAM4，但PAM3提供了50%的更高電壓裕度，並且編碼複雜度更低，這減少了對記憶體匯流排更高頻率的需求，緩解了由此產生的訊號損失。

值得一提的是，GDDR7將能夠在PAM-3和NRZ之間切換，具體取決於所承受的負載。當需要極高的性能時，會啟動 PAM-3，但對於降低能耗很重要的情況（例如非遊戲、桌面使用），則會啟用 NRZ 以保持良好的散熱效果。

另外一個很大的技術變革是，GDDR 7記憶體具有4個獨立通道，可最佳化各種工作負載的資料流，因此延遲相對較低。

三星、SK海力士、美光三大儲存巨頭均推出了自家的GDDR7記憶體產品，並展開了激烈的競爭。誰能在這場技術競賽中脫穎而出，尚需時間驗證。然而，這場較量不僅僅關乎市場份額的爭奪，更在於誰能在性能、能效和創新應用上實現突破，引領下一代圖形記憶體技術的發展方向。

至於GDDR7的顯示卡何時問世？考慮到 AMD 和 Nvidia 每兩年發佈新 GPU 架構的節奏，NVIDIA 和 AMD 預計將在 2024 年下半年推出首款採用 GDDR7 的獨立 GPU。最可能的是消費級Blackwell架構產品和AMD的RDNA 4。讓我們拭目以待。 (半導體行業觀察)

#GDDR 你可以在這裡找到鉅亨號中所有使用「GDDR」為關鍵字所發布的內容