HBM究竟是什麼呢？為何在AI時代如此火熱？

HBM到底為何方神聖？

HBM全稱為High Bandwidth Memory，直接翻譯即是高頻寬內存，是全新的CPU/GPU記憶體晶片。其實就是將很多個DDR晶片堆疊在一起後和GPU封裝在一起，實現大容量、高位寬的DDR組合陣列。

打個比喻，就是傳統的DDR就是採用的"平房設計"方式，HBM則是"樓房設計"方式，從而可實現了更高的性能和頻寬。

如上圖，我們以AMD最新發表MI300X  GPU晶片佈局為例，中間的die是GPU，左右兩側的4個小die就是DDR顆粒的堆疊HBM。目前，在平面佈局上，GPU現在一般常見有2/4/6/8四種數量的堆疊，立體上目前最多堆疊12層。

可能會說，HBM跟DDR不就是"平房"和"樓房"的差別嗎？這也叫創新？

其實想要實現HBM生產並沒有說起來這麼簡單，大家想想，蓋一個樓房可要比建一個平房要困難很多，從底層地基到佈線都需要重新設計。HBM的建造就像樓房一樣，將傳輸訊號、指令、電流都進行了重新設計，而且對封裝製程的要求也高了很多。

如上圖右側，DRAM透過堆疊的方式，疊在一起，Die之間用TVS方式連接；DRAM下面是DRAM邏輯控制單元， 對DRAM進行控制；GPU和DRAM透過uBump和Interposer（起互聯功能的矽片）連通；Interposer再透過Bump和Substrate(封裝基板）連通到BALL；最後BGA BALL 連接到PCB上。

HBM堆疊透過中介層緊湊而快速地連接，HBM具備的特性幾乎和晶片整合的RAM一樣，可實現更多的IO數量。同時HBM重新調整了記憶體的耗電量效率，使每瓦頻寬比GDDR5高出3倍還多。也即是功耗降低3倍以上！另外，HBM 在節省產品空間方面也獨具匠心，HBM比GDDR5節省了94% 的表面積！讓遊戲玩家可以擺脫笨重的GDDR5晶片，盡情享受。

鑑於技術上的複雜性，HBM是公認最能展現儲存廠商技術實力的旗艦產品。

為什麼需要HBM？

HBM的初衷，就是為了提供GPU和其他處理器更多的記憶體。

這主要是因為隨著GPU 的功能越來越強大，需要更快地從記憶體中存取數據，以縮短應用處理時間。例如，AI和視覺，具有巨大記憶體和計算和頻寬要求。

為了減少「記憶體牆」的影響，提升記憶體頻寬一直是記憶體晶片聚焦的關鍵問題。

半導體的先進封裝為克服阻礙高效能運算應用程式的記憶體存取障礙提供了機會，記憶體的延遲和密度都是可以在封裝層級解決的挑戰。基於對先進技術和解決方案的研究，記憶體產業在新領域進行了更深入的探索。

為了克服這些挑戰，半導體封裝設計人員採用了異質整合路線，以在更靠近處理器的位置包含更多記憶體。而HBM就為現代處理器和嵌入式系統目前面臨的記憶體障礙問題提供了解決方案。這些記憶體為系統設計人員提供了兩個優勢：一是減少元件佔用空間和外部記憶體需求；二是更快的記憶體存取時間和速率。

疊起來之後，直接結果就是介面變得更寬，其下方互聯的接點數量遠遠多於DDR記憶體連接到CPU的線路數量。因此，與傳統記憶體技術相比，HBM具有更高頻寬、更多I/O數量、更低功耗、更小尺寸。

目前，HBM產品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發，最新的HBM3E是HBM3的擴展版本。

HBM每一次更新迭代都會伴隨著處理速度的提升。腳位（Pin）資料傳輸速率為1Gbps的第一代HBM，發展到其第五產品HBM3E，速率則提高到了8Gbps，即每秒可以處理1.225TB的資料。也就是說，下載一部長達163分鐘的全高清（Full-HD）電影（1TB）只需不到1秒鐘的時間。

當然，記憶體的容量也不斷增加：HBM2E的最大容量為16GB，目前，三星正在利用其第四代基於EUV光刻機的10nm製程（14nm）節點來製造24GB容量的HBM3晶片，此外8層、12層堆疊可在HBM3E上達到36GB（業界最大）的容量，比HBM3高出50%。

先前SK海力士、美光均已宣布推出HBM3E晶片，皆可實現超過1TB/s的頻寬。

同時，三星也宣布HBM4記憶體將採用更先進的晶片製造和封裝技術，雖然HBM4的規格尚未確定，但有消息指出業界正尋求使用2048位元記憶體接口，並使用FinFET電晶體架構來降低功耗。三星希望升級晶圓級鍵結技術，從有凸塊的方式轉為無凸塊直接鍵結。因此，HBM4的成本可能會更高。

HBM的發展史

如同快閃記憶體從2D NAND發展到3D NAND一樣，DRAM也是從2D向3D技術發展，HBM也由此誕生。

在最初， HBM是透過矽通孔（Through Silicon Via， 簡稱"TSV"）技術進行晶片堆疊，以增加吞吐量並克服單一包裝內頻寬的限制，將數個DRAM晶片像摩天大廈中的樓層一樣垂直堆疊，裸片之間用TVS技術連接。

從技術角度來看，HBM使得DRAM從傳統2D轉變為立體3D，充分利用空間、縮小面積，正契合半導體產業小型化、整合化的發展趨勢。 HBM突破了記憶體容量與頻寬瓶頸，被視為新一代DRAM解決方案，業界認為這是DRAM透過記憶體層次結構的多樣化開闢一條新的道路，革命性提升DRAM的效能。

在HBM的誕生與發展過程中，AMD與SK海力士可謂功不可沒。據了解，AMD在2009年就意識到DDR的限制並產生開發堆疊記憶體的想法，後來其與SK海力士聯手研發HBM。

2013年，經過多年研發後，AMD和SK海力士終於推出了HBM這項全新技術，也被設定為了JESD235業界標準，HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，晶片密度為2Gb（4-hi），其頻寬為4096bit，遠超過GDDR5的512bit。

除了頻寬外，HBM對DRAM能耗的影響也同樣重要。此外，由於GPU核心和顯存封裝在了一起，還能一定程度上減輕散熱的壓力，原本是一大片的散熱區域，濃縮至一小塊，散熱僅需針對這部分區域，原本動輒三風扇的設計，可以精簡為雙風扇甚至是單風扇，變相縮小了顯示卡的體積。

在當時，無論是AMD和SK海力士，或是媒體和眾多玩家，都認定了這才是未來的顯存。第一代HBM面世商用後，SK海力士與三星即開始了一場你追我趕的競賽。

2016年1月，三星宣布開始量產4GB HBM2 DRAM，並在同一年內生產8GB HBM2 DRAM；2017年下半年，被三星追趕的SK海力​​士開始量產HBM2；2018年1月，三星宣布開始量產第二代8GB HBM2"Aquabolt"。

2018年末，JEDEC推出HBM2E規範，以支援增加的頻寬和容量。當傳輸速率上升到每腳3.6Gbps時，HBM2E可以實現每堆疊461GB/s的記憶體頻寬。此外，HBM2E支援最多12個DRAM的堆疊，記憶體容量高達每堆疊24GB。與HBM2相比，HBM2E具有技術更先進、應用範圍更廣泛、速度更快、容量更大等特點。

2019年8月，SK海力士宣布成功研發出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產品"Flashbolt"，於2020年上半年開始量產。

2020年，另一家儲存巨頭美光宣布加入這場賽場。

美光在當時的財報會議上表示，將開始提供HBM2記憶體/顯存，用於高效能顯示卡，伺服器處理器產品，並預計下一代HBMNext將在2022年底面世。但截至目前尚未看到美光相關產品動態。

2022年1月，JEDEC組織正式發表了新一代高頻寬記憶體HBM3的標準規範，繼續在儲存密度、頻寬、通道、可靠性、能源效率等各個層面進行擴充升級。 JEDEC表示，HBM3是一種創新的方法，是更高頻寬、更低功耗和單位面積容量的解決方案，對於高資料處理速率要求的應用情境來說至關重要，例如圖形處理和高效能運算的伺服器。

2022年6月量產了HBM3 DRAM晶片，並將供貨輝達，持續鞏固其市場領先地位。隨著輝達使用HBM3 DRAM，資料中心或將迎來新一輪的效能革命。

2023年，NVIDIA 發表H200晶片，是首款提供HBM3e內存的GPU，HBM3e是目前全球最高規格的HBM內存，由SK海力士開發，將於明年上半年開始量產。

2023年12月，AMD發表最新MI300X GPU晶片，2.5D矽中介層、3D混合鍵合集一身的3.5D封裝，整合八個5nm製程的XCD模組，內建304個CU運算單元，又可分為1216個矩陣核心，同時還有四個6nm製程的IOD模組和256MB無限緩存，以及八顆共192GB HBM3高頻寬記憶體。

從HBM1到HBM3，SK海力士和三星一直是HBM行業的領導者。但比較可惜的是，AMD卻在2016年發表完產品後完全轉向，幾乎放棄了HBM。唯一仍保留HBM技術的是用於AI計算的加速卡。

起了個大早，趕了個晚集，是對AMD在HBM上最好的概括。既沒有憑藉HBM在遊戲顯示卡市場中反殺輝達，反而被輝達利用HBM鞏固了AI計算領域的地位，白白被別人摘了熟透甜美的桃子。

HBM的競爭格局？

由生成式AI引發對HBM及相關高傳輸能力儲存技術的需求，HBM成為儲存巨頭在下行行情中對業績的重要扭轉力量，這也是近期業績會上的高頻詞。

研究機構TrendForce集邦諮詢也指出，預估2023年全球HBM需求量將年增近六成，來到2.9億GB，2024年將再成長三成。 2023年HBM將處於供不應求態勢，到2024年供需比可望改善。

但是HBM在整體儲存市場佔比較低，目前還不是普及性應用的產品。目前似乎競爭都侷限在SK海力士、三星和美光這三家企業之間。

目前，在HBM的競爭格局中，SK海力士是技術領先並擁有最高市場份額的公司，其市佔率為50%。緊隨其後的是三星，市佔率約40%，而美光佔了約10%的市場。

根據預測，到23年，海力士的市佔率可望提升至53%，而三星和美光的市佔率將分別為38%和9%。

在下游廠商主要包括CPU/GPU製造商，例如英特爾、輝達和AMD。由於HBM是與GPU封裝在一起的，因此HBM的封裝通常由晶圓代工廠完成。

反觀到我們國內，由於起步較晚，目前HBM相關產業鏈佈局相對較小，只有一些企業涉及封測領域。但這也意味著，在資安的今天，HBM有更大的成長空間。

目前，在國內涉及HBM產業鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應商，為其提供HBM前驅體。

在HBM製程中，ALD沉積（單原子層沉積）扮演重要角色。拓荊科技是國內主要的ALD供應商之一，公司的PEALD產品用於沉積SiO2、SiN等介質薄膜，在客戶端驗證中都取得了令人滿意的結果。

而TSV技術（矽通孔技術）也是HBM的核心技術之一，而中微公司是TSV設備的主要供應商。矽通孔技術用於連接矽晶圓兩面，並與矽基板和其他通孔絕緣的電互連結構。它能夠透過矽基板實現矽片內部的垂直電互聯，是實現2.5D和3D先進封裝的關鍵。

隨著HBM堆疊DRAM晶片數量逐步增加到8層和12層，HBM對DRAM材料的需求將呈現倍數成長。同時，HBM前驅體的單位價值也將出現倍數級成長，為前驅體市場帶來了全新的發展機會。

HBM的未來應用前景

隨著AI大模型、智慧駕駛等新技術的崛起，人們對高頻寬的記憶體的需求越來越多。

首先，AI伺服器的需求會在近兩年爆增，如今在市場上已經出現了快速的成長。 AI伺服器可以在短時間內處理大量數據，GPU可以讓數據處理量和傳輸速率的大幅提升，讓AI伺服器對頻寬提出了更高的要求，而HBM基本上是AI伺服器的標配。

除了AI伺服器，汽車也是HBM值得關注的應用領域。汽車中的攝影機數量，所有這些攝影機的數據速率和處理所有資訊的速度都是天文數字，想要在車輛周圍快速傳輸大量數據，HBM具有很大的頻寬優勢。

另外，AR和VR也是HBM未來將發力的領域。因為VR和AR系統需要高解析度的顯示器，這些顯示器需要更多的頻寬來在GPU 和記憶體之間傳輸資料。而且，VR和AR也需要即時處理大量數據，這都需要HBM的超強頻寬來協助。

此外，智慧型手機、平板電腦、遊戲機和穿戴式裝置的需求也在不斷增長，這些裝置需要更先進的記憶體解決方案來支援其不斷增長的運算需求，HBM也有望在這些領域中成長。並且，5G 和物聯網(IoT) 等新技術的出現也進一步推動了對HBM 的需求。

而且，AI的浪潮還在愈演愈烈，HBM今後的存在感或許會越來越強。根據semiconductor-digest預測，到2031年，全球高頻寬記憶體市場預計將從2022年的2.93億美元成長到34.34億美元，在2023-2031年的預測期內複合年增長率為31.3%。

HBM需要克服的問題

1：HBM需要較高的製程而導致大幅提升了成本。

針對更大資料集、訓練工作負載所需的更高記憶體密度要求，儲存廠商開始著手研究擴展Die堆疊層數和實體堆疊高度，以及增加核心Die密度以優化堆疊密度。

但就像處理器晶片摩爾定律發展一樣，當技術發展到一個階段，想要提升更大的效能，那麼成本反而會大幅提升，導致創新放緩。

2：產生大量的熱，如何散熱是GPU極大的挑戰。

產業廠商需要在不擴大現有物理尺寸的情況下增加儲存單元數量和功能，從而實現整體效能的飛躍。但更多儲存單元的數量讓GPU的功耗大幅提升。新型的記憶體需要盡量減輕記憶體和處理器之間搬運資料的負擔。

最後總結：

隨著人工智慧、機器學習、高效能運算、資料中心等應用市場的興起，記憶體產品設計的複雜性正在快速上升，並對頻寬提出了更高的要求，不斷上升的寬頻需求持續驅動HBM發展。相信未來，儲存巨頭們將會持續發力、上下游廠商相繼入局，讓HBM得到更快的發展和更多的關注。（半導體產業縱橫）