HBM 深度剖析

最近關於 HBM 的討論越來越多，尤其是在涉及 AI 晶片領域時。HBM 即高頻寬記憶體（High Bandwidth Memory），是一種特殊的 DRAM，通過垂直堆疊並利用硅片內名為 TSV（硅通孔，Through-Silicon Vias）的微小導線與處理器連接。TSV 技術允許直接連接多個 HBM DRAM 晶片，從而提升整體記憶體頻寬。

為何 HBM 如此重要？

HBM 的核心優勢如下：

• 高速性能：HBM 的頻寬可達每秒數 TB，比常規 DDR 記憶體快 20 倍以上。
• 低功耗：由於緊鄰邏輯晶片，資料傳輸距離短，大幅節省能源。
• 面積效率：單位面積內容量密度最高。

在生成式 AI 時代，記憶體頻寬至關重要，因為模型訓練往往受限於頻寬而非計算能力。Transformer 模型中的注意力機制需要儲存和計算所有 token 之間的關係，記憶體需求與序列長度成二次方增長。類似地，推理階段記憶體也成為更大瓶頸，因為需要處理更長的上下文窗口和 Transformer 模型中擴大的鍵值快取（KV 快取）——KV 快取的記憶體消耗隨 token 數量線性增長。

HBM 技術發展

每一代 AI 晶片的升級中，HBM 的迭代（更高頻寬或容量）都是提升性能的關鍵因素。以 NVIDIA GPU 為例，在同架構的 “Tick-Tock” 週期中，第二代產品的主要升級方向即為 HBM 容量：從 H100 到 H200、B200 到 B300，HBM 容量提升 50%；從 Rubin 到 Rubin Ultra 則提升 4 倍。 這一升級通過三種方式實現：增加每個 GPU 模組的 HBM 堆疊數量、提升每個 HBM 模組的 DRAM 晶片數量，或升級 HBM 代際。HBM4 通過將每個堆疊的通道數從 8 個翻倍至 16 個，以及顯著提升每引腳的 I/O 速度，實現了更高頻寬。

隨著 GPU 和 ASIC 對 HBM 需求的增長，HBM 市場預計將快速擴張。據 SK 海力士資料，2024 至 2028 年 HBM 行業復合年增長率（CAGR）有望達 50%。對 DRAM 廠商而言，HBM 的週期性弱於傳統 DRAM：儘管未來銷量可能波動，但其合約價格提前 1 年敲定，優於傳統 DRAM 的短期合約甚至現貨定價模式。

SK 海力士：HBM 賽道的當前領跑者

憑藉卓越的 MR-MUF（大規模回流模塑底部填充，Mass Reflow Molded Underfill）技術，SK 海力士目前在 HBM 市場佔據主導地位。三星和美光則選擇了相對遜色的 TC-NCF（非導電膜熱壓，Thermal Compression with Non-Conductive Film）技術路線，這使得 SK 海力士以超過 60% 的市場份額統治 HBM 市場 —— 其主要為 NVIDIA 從 Hopper 到最新 Blackwell GPU（如 GB200）供應高端 HBM。據摩根士丹利資料，2024 年 NVIDIA 佔全球 HBM 消耗量的 60% 以上，預計 2025 年這一比例將超過 70%。

MR-MUF 技術優於 TC-NCF 的核心在於更好的散熱能力和更高良率：其平均良率比 TC-NCF 高 20%。隨著 HBM 堆疊層數增加，散熱變得愈發重要 —— 同一區域堆疊的 DRAM 晶片越多，產熱越大。MR-MUF 的散熱凸點數量是 TC-NCF 的 3 倍，散熱效率顯著提升，可使 HBM 保持低溫。

MR-MUF 的另一優勢在於工藝在室溫下以較小壓力完成，而 TC-NCF 需在 300°C 高溫和強壓力下進行。高溫可能導致層間翹曲，強壓力則可能在堆疊過程中損壞晶片。

SK 海力士還擁有獨家環氧樹脂模塑化合物，可實現更均勻的間隙填充和封裝，減少空洞、增強散熱並降低翹曲。其樹脂基絕緣材料通過與日本關鍵供應商 Namics Corporation 的長期獨家合約供應 —— 這也是除專利壁壘外，三星和美光無法複製 MR-MUF 技術的關鍵原因。TC-NCF 的薄膜底部填充技術存在更嚴格的對齊公差要求，且隨著堆疊層數增加，流動一致性問題加劇。

三星在 HBM 領域的掙扎部分源於其前端技術。由於三星和美光均採用 TC-NCF，後端技術並非其未通過 NVIDIA 認證的主因。自 1a nm 節點起，三星前端工藝便開始面臨挑戰：部分觀點歸咎於文化和管理問題，另一些則認為是激進的縮放路線所致。前端良率在 HBM 中尤為關鍵，因為堆疊的 DRAM 晶片數量將從 8-Hi 持續增長至 16-Hi—— 若良率為 95%，8-Hi 堆疊的最終良率為 66%，16-Hi 則降至 44%。

為此，三星目前在 HBM4 中使用 1c nm DRAM 晶片和 4nm 邏輯晶片以追趕同行，但其 1c nm 工藝的結果並不理想，而競爭對手 SK 海力士已憑藉 1c nm 實現了出色良率。值得注意的是，SK 海力士將利用成熟的 1b nm 技術生產 HBM4，以確保高良率。若三星無法及時將 1c nm 良率提升至 90% 以上，其在 DRAM 和 HBM 領域的差距可能進一步拉大。

HBM4 競爭的另一關鍵變數：基底晶片從平面 DRAM 工藝向先進 FinFET 邏輯節點的遷移

將基底晶片轉向邏輯工藝技術，可降低功耗、提升轉換性能，並為客戶定製功能提供靈活性。借助 FinFET 工藝，基底晶片可成為可定製的小晶片，在提供更高性能和能源效率的同時（尤其是採用更先進節點，儘管成本更高），使記憶體廠商能夠靈活服務超大規模和加速器客戶的特定需求。

基於這一趨勢，三星預計將在自家先進節點上（據報導為三星代工廠的 4nm 工藝）內部製造 HBM4 基底晶片，而行業報告顯示 SK 海力士和美光將外包給台積電，可能採用 3nm 工藝定製基底晶片。

HBM4 基底晶片主要具備三大功能：

1. 控制 DRAM 堆疊：作為整個 HBM 堆疊的控制平面，處理所有讀寫、刷新和修復操作。
2. 管理 I/O 介面和資料傳輸：搭載 2048 位物理層 I/O（JEDEC 標準，為 HBM3E 的兩倍）和時鐘網路，負責記憶體堆疊與 GPU 或 ASIC 主機處理器之間的資料傳輸。
3. 整合邏輯晶片與定製 HBM4：由於基底晶片採用邏輯工藝（如三星 4nm、台積電 3/12nm），可整合片上電源管理、ECC（糾錯碼）和客戶特定加速器。借助邏輯基底晶片，還能支援 “定製 HBM” 變體，並根據特定工作負載需求支援先進的 2.5D/3D 封裝路線圖。

顯然，HBM 基底晶片的質量正成為記憶體廠商的另一關鍵戰場，他們正不斷最佳化這些邏輯層，以滿足客戶對下一代 HBM4 的功耗和性能目標。台積電 N3 家族在過去三年中已展現出強大的能力和穩定性，因此 SK 海力士或美光無需擔心其工藝質量。

核心戰略問題在於：儘管 3nm 晶圓成本更高，但其相比 N5 甚至 N12 等較落後節點能否帶來切實的性能優勢？三星面臨不同的考量：其 4nm 工藝表現仍存爭議，早期基於 4nm 的產品已引發行業批評。在 HBM4 量產前，三星必須驗證其內部 4nm 工藝能否提供與競爭對手相當的基底晶片質量。否則，即便三星通過垂直整合保持名義成本優勢，仍可能進一步落後於美光和 SK 海力士 —— 後者將借助台積電成熟的邏輯技術。

SK 海力士在 HBM 領域的領先地位，不僅源於其卓越的鍵合技術和 DRAM 製造競爭力，更源於公司對 HBM 技術和人才持續十餘年的投入。自 2013 年起，SK 海力士持續投資 HBM 技術，與 AMD 共同開發首款 HBM。早期持續的投入使其始終站在 HBM 創新前沿 —— 從 2017 年的 HBM2、2019 年的 HBM2E、2021 年的 HBM3，到如今行業領先的 HBM3E 及即將推出的 HBM4。

鑑於 HBM 製造工藝的複雜性和專業人才的技術學習曲線，這種先行者優勢和持續投入對 SK 海力士的成功至關重要。更重要的是，這使其能夠持續識別並與符合技術路線圖的最優供應鏈合作夥伴保持協同，避免中斷。

與 SK 海力士的堅定投入形成對比的是，三星對 HBM 的參與較為零散。儘管 2010 年代大部分時間裡，三星在 HBM 第一代和 HBM2 上與 SK 海力士並駕齊驅，但 2019 年以 HBM 市場潛力有限為由解散了 HBM 團隊。這一舉措不僅阻礙了技術進步，更嚴重的是切斷了未來 HBM 發展所需的人才儲備。如今看來，這顯然是三星的重大戰略失誤。

更致命的是時機 —— 團隊解散僅約三年後，ChatGPT-3 的發佈引發了 AI 熱潮，而這正是企業加速研發 HBM3 和 HBM3E（後來為 NVIDIA 最受歡迎的 H100 提供動力）的關鍵時期。三星從 HBM 的戰略撤退，恰好與 SK 海力士的技術突破同步 ——2019 年，SK 海力士推出了前文所述的 MR-MUF 鍵合技術，這一關鍵技術使其 HBM 產品從美光和三星的競爭中脫穎而出。

混合鍵合（Hybrid Bonding）：HBM 的顛覆性技術

儘管 SK 海力士憑藉 MR-MUF 技術主導 HBM 市場，但其領先地位可能因混合鍵合技術的採用而改變。作為一項新技術，率先掌握混合鍵合的廠商將在學習曲線上佔據優勢。

HBM 混合鍵合工藝始於待鍵合晶片的表面製備：形成平面化的銅焊盤和周圍電介質層，隨後進行化學處理和活化以確保高品質粘附。接下來，晶片精確對齊並直接鍵合，形成銅 - 銅連接和電介質 - 電介質機械鍵合。鍵合後，堆疊層經過低溫退火（通常 < 400°C）以強化互連。

混合鍵合支援堆疊晶片間直接銅 - 銅（Cu-to-Cu）鍵合，無需微凸點。該方案提供更緊密的間距、更低電阻和更好的熱特性，支援低於 10μm 的間距（微凸點約為 40-55μm），使層間連線量大幅增加。更緊密的凸點間距和 HBM 晶片間無間隙的特性，還能降低 HBM 整體堆疊高度。

最初，JEDEC 為 HBM 規定的封裝高度為 720μm，這對採用 MR-MUF 和 TC-NCF 的 8-Hi 和 12-Hi HBM3/3E 均可行。但當轉向 16-Hi HBM4 時，混合鍵合本應成為滿足 720μm 高度要求的必然技術。經遊說，JEDEC 將 HBM4 封裝高度放寬至 775μm，使 MR-MUF 和 TC-NCF 仍可應用。除降低堆疊高度外，混合鍵合還通過更高密度和更短晶片間連接，提升整體功耗和頻寬表現。

混合鍵合尚未在 HBM 中普及的主要原因是成本遠高於現有方法：混合鍵合機成本 300 萬美元，而熱壓鍵合機（TCB）僅 100-200 萬美元。此外，由於需要額外的 CMP（化學機械平面化）步驟和更高等級的潔淨室，總體擁有成本更高 ——CMP 用於確保鍵合介面的晶片表面光滑平整。受潔淨室要求影響，研磨機、切割機和晶片放置等其他裝置也需滿足前端規格，成本隨之上升。混合鍵合還模糊了前端和後端工藝的界限。

儘管三星和美光試圖通過混合鍵合超越 SK 海力士，但 HBM5（20-Hi）大規模採用混合鍵合的時間線可能在 2028 或 2029 年，這也與 NVIDIA 的路線圖一致 —— 最早在 2028 年底，HBM5 才會與 Rubin Ultra 之後的下一代 GPU 搭配使用。

從美光和 SK 海力士投資的兩座新先進封裝工廠的量產時間也可推斷：美光 2025 年在新加坡破土動工 70 億美元的 HBM 先進封裝工廠，預計 2027 年量產；SK 海力士計畫在印第安納州投資 38.7 億美元建設新的先進封裝廠，2028 年開始生產。

HBM 裝置供應商

HBM 市場的關鍵裝置供應商包括：

• 熱壓鍵合機（TCB）：Hanmi、Hanwha、ASMPT、Kulicke & Soffa、Semes
• C2W 混合鍵合機：Besi、ASMPT、SUSS Microtec
• 計量裝置：Camtek、KLA
• 模塑裝置：ASMPT、Besi、Towa
• 研磨機：Disco
• CMP 裝置：應用材料、Ebara
• 臨時鍵合 / 解鍵合裝置：SUSS Microtec、東京電子
• 測試裝置：愛德萬、泰克
• TSV 裝置：應用材料、泛林半導體、東京電子

在供應鏈中，TCB 和混合鍵合機因競爭激烈而備受關注，它們也是堆疊 HBM 晶片的關鍵裝置。

TCB 目前是 SK 海力士、三星和美光採用的主流鍵合裝置。HBM 封裝的 TCB 市場目前由韓國廠商主導，如 Hanmi Semiconductor 和 Hanwha Precision，兩者均向 SK 海力士和美光等主要 DRAM 廠商供貨。Hanmi 憑藉卓越的性價比和生產力，在 HBM3 和 HBM3E 領域尤其佔據主導地位，至今仍是 SK 海力士的頂級供應商（儘管雙方存在一些爭議），也是美光和中國廠商的主要 TCB 供應商。

ASMPT 和 KLIC（Kulicke & Soffa）雖也活躍於 TCB 市場，但其歷史優勢更多在邏輯封裝領域 —— 邏輯封裝的精度要求高於 HBM 封裝，這也解釋了其裝置成本更高的原因。

HBM 的 C2W（晶片到晶圓）混合鍵合機市場仍處於早期階段，但正迅速成為關鍵戰場。行業正從基於微凸點的 TCB 向無凸點銅 - 銅混合鍵合過渡，以適用於 HBM5 及更下一代產品。儘管 TCB 廠商可能嘗試向混合鍵合演進，但需與前端裝置廠商合作：Besi 已與應用材料合作，ASMPT 則與 EV Group 聯手 —— 應用材料在蝕刻、CMP、沉積、清洗、計量和檢測領域貢獻了專業知識。EV Group 是晶圓到晶圓永久鍵合領域無可爭議的市場領導者。韓國廠商如 Hanmi 和 Hanwha 也在探索其 TCB 平台的混合鍵合擴展，但目前缺乏精度和低溫工藝控制能力。

目前，Besi 在混合鍵合機競爭中領先，其現有 100nm 精度的混合鍵合機及即將推出的第二代 50nm 精度機型（支援 < 4μm 凸點間距）已佔據優勢。ASMPT 和 KLIC 則試圖通過下一代無焊劑 TCB 工具（ASMPT 的 AOR TCB、KLIC 的 APTURA™ FTC）延緩混合鍵合機的普及，這些工具可實現亞 1μm 的放置精度和 < 10μm 的凸點間距。

中國在 HBM 領域的追趕

與三大記憶體巨頭相比，中國 HBM 進展仍有限，短期內對其威脅較小，尤其是中國記憶體發展受制於美國主導的半導體製造裝置限制（包括光刻、蝕刻、TSV 等）。但近年來，中國兩大記憶體廠商長鑫儲存（CXMT）和長江儲存（YMTC）已證明，即便面臨監管挑戰，仍能快速推進記憶體技術。

成立於 2016 年的長鑫儲存是中國 DRAM 領域的領軍者，過去幾年在傳統 DRAM 領域快速進步，在中低端 DRAM（如 DDR3 和 DDR4）市場挑戰三大記憶體巨頭。此外，該公司今年初已悄然進軍先進的 DDR5 領域，縮小了與 DRAM 領導者的差距。

長鑫儲存在 HBM 領域的進展相對緩慢：2022 年底高性能計算需求激增前，公司未將 HBM 技術列為優先事項，導致發展滯後。另一明顯原因是其 DRAM 技術的落後 —— 這是 HBM 前端製造的基礎。

然而，長鑫儲存正尋求追趕 HBM 技術：據報導，2024 年下半年其開始量產 HBM2。但鑑於限制前 SK 海力士和三星已提供更先進的 HBM 產品，且本地客戶 unlikely to adopt 長鑫儲存落後的產品，其 HBM 在中國的應用預計最多僅限於國內市場。此外，長鑫儲存的 HBM 產品至今仍處於小批次生產和出貨階段。

目前，長鑫儲存正研發 HBM3 並計畫次年量產，這將使其與 HBM 領導者的差距縮小至約四年。此外，公司目標是在 2027 年宣佈 HBM3E 並推動量產 —— 鑑於其 DRAM 和 HBM 技術尚不成熟，這一路線圖頗具野心。

今年在上海舉行的 SEMICON China 上，分析師指出預計 2025 年 HBM 將快速演進，HBM3E 是國內 HBM 廠商的主要目標規格。這並不意味著中國即將成功開發 HBM3E，但國內廠商圍繞這一規格積極研發，表明中國 HBM 技術已取得有意義的進展，至少標誌著中國記憶體行業正致力於最前沿的 HBM 技術。

從技術角度看，基於 DRAM 領域的進展，長鑫儲存似乎越來越有能力為 HBM2E 和 HBM3 生產 DRAM 晶片。該公司目前能夠在 1y nm 和 1z nm 節點上製造 DRAM，這兩代 HBM 正使用這些節點。另一家領先的技術諮詢公司 TechInsights 在 1 月份的分析中證實，長鑫儲存能夠在 1z nm 節點上製造 DDR5。儘管其晶片的裸片尺寸更大且良率未經驗證，但其 DDR5 的密度與 2021 年全球領先的競爭對手（美光、三星和 SK 海力士）相當。

長鑫儲存的研發團隊可能正在開發亞 15 nm 的 DRAM 節點，特別是 1α nm，這是 HBM3E 所需的關鍵 DRAM 節點。儘管長鑫儲存在沒有極紫外（EUV）光刻技術的情況下開發 1α nm 可能面臨重大挑戰，但並非沒有可能。2021 年，美光在未使用 EUV 的情況下推出了 1α nm DRAM，為長鑫儲存提供了潛在的可複製路徑。

在後端工藝方面，考慮到長鑫儲存在 2024 年 12 月出口管制前與三星、美光等其他記憶體廠商一樣，能夠獲得 HBM 所需的大部分半導體製造裝置（除 EUV 外），因此其 HBM 產品可能採用 TC-NCF 鍵合技術。即使在出口管制後，韓美半導體（Hanmi Semiconductor）仍是中國多家客戶的 TCB 關鍵供應商，其中很可能包括長鑫儲存、通富微電等中國 HBM 領域的主要參與者。直到最近，據報導韓美半導體可能因美國政府的壓力，停止向中國客戶發運 TC 鍵合機。

總體而言，長鑫儲存在 HBM 前端和後端技術的能力將是觀察其未來 HBM 產品（包括 HBM3E）發展的關鍵。特別是其前端技術（即 D1z 和 D1a 節點）的成熟度，可能決定其未來 HBM 產品的成功，因為考慮到該公司從韓國裝置供應商處儲備了鍵合裝置，其 TC-NCF 鍵合技術尚不構成致命問題。

鑑於長鑫儲存最近已開始使用 1z nm 節點量產 DDR5，D1z 節點的良率問題可能對其未來 HBM3 的開發影響逐漸減小，儘管該公司仍需時間進一步提升良率和產品質量。然而，隨著該公司積極推進前端技術路線圖，預計其在 D1a 節點將面臨重大挑戰，尤其是在缺乏 EUV 光刻技術的情況下，難以實現有競爭力的良率和規模生產。因此，就 HBM3 和 HBM3E 而言，長鑫儲存目前預計落後領先記憶體廠商 3 到 4 年。

2025 年 1 月，美國商務部工業與安全域（BIS）進一步收緊了先進節點 IC 在 DRAM 領域的定義，滿足以下任一條件即屬於限制範圍：

• 儲存單元面積小於 0.0026 µm²；
• 儲存密度大於 0.20 Gb/mm²；
• 每個晶片的硅通孔（TSV）數量超過 3000 個。（* 三星 HBM2 每個晶片的 TSV 數量超過 5000 個，SK 海力士 HBM3 每個晶片的 TSV 數量超過 8000 個）

更嚴格的規則可能限制長鑫儲存突破 18nm 節點的能力，儘管 2022 年 10 月的規則允許長鑫儲存在名義上受限的 18nm 節點外，仍可追求至 1z nm 節點。

展望未來，除關注中國 HBM 的前端技術外，密切監測中國企業在未來 HBM 技術中對混合鍵合的探索和潛在應用也至關重要。如前所述，混合鍵合可能成為重塑 HBM 行業競爭格局的關鍵轉折點。對中國記憶體行業而言，混合鍵合可能提供一條顯著加速 HBM 發展的路徑，即便無法超越全球領先者，也能有效縮小差距。

顯然，中國企業已意識到混合鍵合對 HBM 的重要性。長鑫儲存、通富微電等 HBM 核心企業近年持續投資混合鍵合研究，有報導顯示，自 2022 年中國半導體行業面臨美國限制加劇以來，其在該技術相關的專利申請量顯著增加。

下一代 HBM 的領導地位將不僅取決於企業的前端 DRAM 製造能力，還取決於其能否率先掌握混合鍵合技術並將其整合到 HBM 產品中，從而與競爭對手拉開差距。這一趨勢對韓國、美國和中國的記憶體廠商均適用。

本篇文章內容轉載自：https://substack.com/home/post/p-164567572
原文作者：Ray Wang，X：https://x.com/rwang07 (傅里葉的貓)