日前，JEDEC固態技術協會宣布，備受期待的高頻寬記憶體(HBM) DRAM 標準的下一個版本：HBM4 即將完成。

據介紹，HBM4 是目前發布的HBM3 標準的進化版，旨在進一步提高資料處理速率，同時保持基本特性，例如更高的頻寬、更低功耗和更大的每個晶片和/或堆疊容量。這些進步對於需要高效處理大數據集和複雜運算的應用至關重要，包括產生人工智慧(AI)、高效能運算、高階顯示卡和伺服器。

與HBM3 相比，HBM4 計畫將每個堆疊的通道數增加一倍，實體佔用空間也更大。為了支援設備相容性，該標準確保單一控制器可以在需要時同時與HBM3 和HBM4 配合使用。不同的配置將需要不同的中介層來適應不同的佔用空間。 HBM4 將指定24 Gb 和32 Gb 層，並可選擇支援4 高、8 高、12 高和16 高TSV 堆疊。

JEDEC指出，委員會已就高達6.4 Gbps 的速度等級達成初步協議，目前正在討論更高的頻率。

HBM 4，有哪些更新？

高頻寬記憶體已存在約十年，在其持續發展過程中，其速度穩步提升，資料傳輸速率從1 GT/s（最初的HBM）開始，到現在HBM3E的9 GT/s。這使得頻寬在不到10 年的時間內實現了令人矚目的飛躍，使HBM 成為此後推出市場的全新HPC 加速器的重要基石。

但隨著記憶體傳輸速率的提高，尤其是在DRAM 單元的基本物理特性沒有改變的情況下，這種速度也越來越難以維持。因此，對於HBM4，該規範背後的主要記憶體製造商正計劃對高頻寬記憶體技術進行更實質的改變，從更寬的2048 位元記憶體介面開始。

HBM4 將把記憶體堆疊介面從1024 位元擴展至2048 位，這將是自八年前推出此記憶體類型以來HBM 規範最重要的變化之一。將I/O 引腳數量增加兩倍，同時保持相似的實體佔用空間，對於記憶體製造商、SoC 開發商、代工廠和外包組裝和測試(OSAT) 公司來說極具挑戰性。

按照計劃，這將使HBM4 在多個層面上實現重大技術飛躍。在DRAM 堆疊方面，2048 位元記憶體介面將需要顯著增加透過記憶體堆疊佈線的矽通孔數量。同時，外部晶片介面將需要將凸塊間距縮小到55 微米以下，同時將微凸塊總數從HBM3 的目前數量（約）3982 個凸塊大幅增加。

記憶體製造商表示，他們還將在一個模組中堆疊多達16 個記憶體晶片，即所謂的16-Hi 堆疊，這為該技術增加了一些複雜性。 （HBM3 在技術上也支援16-Hi 堆疊，但到目前為止還沒有製造商真正使用它）這將允許記憶體供應商顯著增加其HBM 堆疊的容量，但它帶來了新的複雜性，即在在無缺陷的情況下連接更多數量的DRAM 晶片，然後保持最終的HBM 堆疊適當且一致地短。而這一切反過來又需要晶片製造商、記憶體製造商和晶片封裝公司之間更加緊密的合作，以使一切順利進行。

不過，隨著DRAM堆疊數量的增加，有人指出封裝技術面臨限制。

現有的HBM採用了TC（熱壓）鍵合技術，該技術在DRAM中創建TSV通道，並透過小突起形式的微凸塊進行電連接。三星電子和海力士的具體方法有所不同，但相似之處在於都使用了凸點。

最初，客戶將DRAM 堆疊至多達16 層，並要求HBM4 最終封裝厚度為720 微米，與前幾代產品相同。普遍的觀點是，使用現有的接合實際上不可能在720 微米處實現16 層DRAM 堆疊HBM4。因此，業界關注的替代方案是混合鍵結。混合鍵合是一種在晶片和晶圓之間直接鍵合銅佈線的技術。由於DRAM之間不使用凸塊，因此更容易減少封裝厚度。

然而，根據韓國媒體在三月的報導，在當時的討論中，相關公司決定將封裝厚度標準放寬至775微米（μm），比上一代的720微米（μm）更厚。國際半導體標準組織（JEDEC）的主要參與者也同意將HBM4產品的標準定為775微米。如果封裝厚度減少到775微米，即使使用現有的接合技術，也可以充分實現16層DRAM堆疊HBM4。考慮到混合鍵合的投資成本龐大，記憶體公司很可能將重點放在升級現有鍵合技術上。

根據Trendforce 去年年底分享的路線圖預計，首批HBM4 樣品預計每堆疊容量高達36 GB，完整規格預計將由JEDEC 在2024-2025 年下半年左右發布。預計第一批客戶樣品和供貨時間是2026 年，因此我們還有很長一段時間才能看到新的高頻寬記憶體解決方案投入使用。

三大巨頭的最新佈局

目前，市場上有SK Hynix、三星和美光這三大玩家，他們在HBM 4上也明爭暗鬥。

首先看SK Hynix方面，在五月的一次產業活動中表示，SK Hynix 表示，可能在2025 年率先推出下一代HBM4。 SK Hynix 計劃在HBM4 的基礎晶片中採用台積電的先進邏輯工藝，以便將額外的功能塞進有限的空間內，幫助SK Hynix 定制HBM，以滿足更廣泛的性能和能源效率要求。

同時，SK 海力士表示，雙方也計劃致力於優化其HBM 和晶圓上晶片(CoWoS，台積電的封裝技術) 技術的組合，並滿足客戶的HBM 需求。

在SK海力士看來，該公司的HBM產品具備業界最佳的速度與效能。尤其是我們獨有的MR-MUF技術，為高性能提供了最穩定的散熱，為造就全球頂尖性能提供了保障。 SK 海力士聲稱，大規模回流成型底部填充(MR-MUF) 技術製造，比使用熱壓縮非導電膜(TC-NCF) 製造的產品堅固60%。此外，公司擁有快速量產優質產品的能力，我們對客戶需求的反應速度也是首屈一指的。這些競爭優勢的結合使公司的HBM脫穎而出，躋身行業前列。

具體到DRAM方面，據報導，SK海力士計劃將1b DRAM應用到HBM4，並從HBM4E應用1c DRAM。但據了解，SK海力士仍留有根據市場狀況靈活改變應用技術的空間。

來到三星方面，身為一個追趕者，三星也火力全開。

三星電子在其設備解決方案(DS) 部門內成立了新的“HBM 開發團隊”，以增強其在高頻寬記憶體(HBM) 技術方面的競爭力。這項策略性舉措是在副董事長Kyung-Hyun Kyung 就任DS 部門負責人一個多月後採取的，反映了該公司致力於在快速發展的半導體市場中保持領先地位的決心。

新成立的HBM 開發團隊將專注於推進HBM3、HBM3E 和下一代HBM4 技術。該計劃旨在滿足人工智慧(AI) 市場擴張帶來的對高效能記憶體解決方案的激增需求。今年早些時候，三星已經成立了一個工作小組(TF) 來增強其HBM 競爭力，新團隊將整合和提升這些現有的努力。

三星電子同時強調，將加強其定於明年發布的第六代高頻寬記憶體（HBM4）的客製化服務。

該公司內存事業本部新業務規劃組副總裁Choi Jang-seok表示：“與HBM3相比，HBM4的性能顯著提高”，並補充說：“我們正在擴大產能到48GB（千兆字節）並以明年的生產目標進行開發。

三星電子將MOSFET製程應用到HBM3E，並積極考慮從HBM4開始應用FinFET製程。因此，與MOSFET 應用相比，HBM4 的速度提高了200%，面積縮小了70%，效能提高了50% 以上。這是三星電子首次公開HBM4規格。

Choi 副總裁表示：“HBM 架構將發生重大變化。許多客戶的目標是定制優化，而不是現有的通用用途。”他補充道，“例如，HBM DRAM 和定制邏輯芯片的3D 堆疊顯著提高。” 「由於通用HBM 的中介層和大量輸入/輸出(I/O)，將有可能降低效能並消除效能擴展的障礙，」他解釋道。

他繼續說道，「HBM不僅不能忽視性能和容量，還不能忽視功耗和熱效率。為此，16層HBM4不僅採用了NCF之外的HCB（混合鍵合）技術等各種尖端封裝技術（非導電黏合膜）組裝技術，還有新工藝「正確實施各種新技術至關重要，三星正在按照計劃進行準備，」他補充道。

有報告指出，三星電子最近在內部製訂了一項計劃，將原來計劃安裝在HBM4中1b DRAM改為1c DRAM。並將量產目標日期從明年年底提前到明年中下旬，但因為良率必須得到支持，此傳言尚未得到證實。

另一位HBM參與者美光則預計在2025到2026年推出12H和16H的HBM4,其容量為36GB 到48GB ，速度為1.5TB/S以上。據美光稱，HBM4 之後，HBM4E 將於2028 年問世。 HBM4 的擴展版本預計將獲得更高的時脈頻率，並將頻寬提高到2+ TB/s，容量提高到每個堆疊48GB 到64GB。

將高頻寬記憶體加速至光速

HBM 的出現是為了向GPU 和其他處理器提供比標準x86 插槽介面所能支援的更多的記憶體。但GPU 的功能越來越強大，需要更快地從記憶體中存取數據，以縮短應用程式處理時間——例如，大型語言模型(LLM) 可能涉及在機器學習訓練運行中重複存取數十億甚至數兆個參數，而這可能需要數小時或數天才能完成。

目前的HBM 遵循相當標準的設計：HBM 記憶體堆疊透過微凸塊連接到位於基礎封裝層上的中介層，微凸塊連接到HBM 堆疊中的矽通孔(TSV 或連接孔)。中介層上也安裝了一個處理器，並提供HBM 到處理器的連接

HBM 供應商和HBM 標準機構正在研究使用光子學等技術或直接將HBM安裝在處理器晶片上來加快HBM 到處理器的存取速度。供應商正在設定HBM 頻寬和容量速度——似乎比JEDEC 標準機構能夠跟上的速度更快。

三星正在研究在中介層中使用光子技術，光子在鏈路上的流動速度比編碼為電子的位元速度更快，而且功耗更低。光子鏈路可以以飛秒的速度運轉。這意味著10-15單位時間－一千兆分之一秒（十億分之一的百萬分之一）。

根據韓國媒體報導，SK 海力士也正在研究直接HBM-邏輯連結概念。這個概念將GPU 晶片與HBM 晶片一起製造在混合用途半導體中。該晶片廠將此視為HBM4 技術，並正在與Nvidia 和其他邏輯半導體供應商進行談判。這個想法涉及記憶體和邏輯製造商共同設計晶片，然後由台積電等晶圓廠營運商製造。

這有點類似於記憶體處理（PIM）的想法，除非受到業界標準的保護，否則將是專有的，具有供應商鎖定的前景。

與三星和SK 海力士不同，美光並未談論將HBM和邏輯整合到單一晶片中。它將告訴GPU 供應商（AMD、英特爾和Nvidia），他們可以使用組合的HBM-GPU 晶片獲得更快的記憶體存取速度，而GPU 供應商將非常清楚專有鎖定和單一來源的危險。

隨著ML 訓練模型越來越大，訓練時間越來越長，透過加快記憶體存取速度和增加每個GPU 記憶體容量來縮短運行時間的壓力也將同步增加。放棄標準化DRAM 的競爭供應優勢，獲得鎖定的HBM-GPU 組合晶片設計（儘管速度和容量更好）可能不是前進的正確方法。 (半導體產業觀察)