cHBM，帶來驚喜！

2025/03/13

•

將HBM基片的功能整合到邏輯晶片中，可以提供更大的靈活性和額外的控制。

為了提高每瓦系統性能，半導體行業一直在尋求超越增加記憶體容量和資料速率的常規方法的創新解決方案。在過去十年中，高頻寬記憶體 (HBM) 協議已被證明是資料中心和高性能計算 (HPC) 應用的熱門選擇。隨著行業轉向定製 HBM（custom HBM，簡稱cHBM)，可以實現更多優勢，為片上系統 (SoC) 設計人員提供靈活性和控制力，使其根據應用實現更高的性能或更低的功耗和更小的面積。

HBM 為何勝出

HBM 越來越多地用於資料中心，用於要求苛刻的應用中的 AI/ML 和計算密集型工作負載。儘管需求加速給供應鏈帶來了壓力，但三大供應商的支援意味著最終客戶可以擁有真正的多源採購。據悉，HBM 市場將以每年 42% 的速度增長，從 40 億美元（2023 年）增長到 1300 億美元（2033 年），主要受工作負載擴大的 AI 計算推動。到 2033 年，HBM 將佔據整個 DRAM 市場的一半以上。

HBM 提供顯著更高的記憶體頻寬、更低的延遲和緊湊的外形尺寸（使用 3D 垂直堆疊來增加密度並縮短資料路徑）。自 2013 年推出最初的 HBM 以來，JEDEC 一直制定著積極的發展路線圖。正如最近的一篇部落格文章中所述，當前的 HBM4 使每個堆疊的通道數增加了一倍，具有 2Kbit 介面、高達 6.4Gbps 的速度箱以及支援 16 高矽通孔 (TSV) 堆疊的選項。圖 1 顯示了帶有處理器晶片和 HBM 堆疊的典型片上系統 (SoC) 設計。

處理器晶片和記憶體晶片堆疊之間的連接是通過矽中介層進行的，使用 HBM 標準定義的物理 (PHY) 層。使用中介層意味著，雖然 HBM 堆疊是完全 3D 的，但整個 SoC 僅為 2.5D，從而減少了潛在的空間節省。通過中介層的傳播時間會減慢記憶體訪問時間，從而降低潛在性能。目前，整個 HBM 記憶體堆疊（包括基礎晶片）由 DRAM 供應商提供。這可能會限制設計靈活性，也是 cHBM 的動機。

定製的好處

定製 HBM 的關鍵是將基礎晶片的功能整合到 SoC 團隊設計的邏輯晶片中。這包括控制 I/O 介面、管理 DRAM 堆疊以及託管用於診斷和維護的直接訪問 (DA) 連接埠。整合需要與 DRAM 供應商密切合作，但它為 SoC 設計人員提供了更大的靈活性和對 HBM 核心晶片堆疊訪問方式的額外控制。他們現在可以緊密整合記憶體和處理器晶片，並根據應用最佳化功率、性能和面積 (PPA)。

SoC 設計人員可以自由組態和實例化他們的 HBM 記憶體控製器，以便使用 DFI2TSV 橋直接與 HBM DRAM 堆疊連接。邏輯晶片可以整合增強功能，例如可程式設計高品質 BIST 控製器、D2D 介面卡和高速介面（例如通用 Chiplet 互連 Express (UCIe)），然後以全 3D 堆疊的形式與處理器晶片通訊。現有設計可以重複使用，因為晶片是在邏輯工藝而非 DRAM 工藝中製造的。圖 2 對比了 HBM 和 cHBM 方法。

cHBM 的優勢在於可以顯著減少資料路徑上中介層引起的延遲以及相關的功耗和性能損失。它通過重複使用任何現有的直接晶片到晶片高速介面（如 UCIe），有效地拉近了記憶體和處理器晶片之間的距離。由此產生的靈活性可以在不同類型的場景中得到利用：

雲提供商將其用於邊緣 AI 應用，其中成本和功耗是關鍵標準。
在基於 AI/ML 的複雜計算場中使用，其中容量和吞吐量被推到極限。

cHBM 挑戰

cHBM 的整體理念仍然很新，而且該技術仍在不斷湧現。與任何創新一樣，未來也面臨挑戰。將基礎晶片功能整合到邏輯晶片中意味著終端使用者必須從矽片生命周期管理 (SLM) 的角度考慮整個生命周期，包括設計、量產、生產量產和現場方面。例如，在晶圓級 HBM 晶片堆疊後篩查 DRAM 單元缺陷的負擔現在落在了終端使用者的身上。這引發了以下問題：

使用者如何處理可能推薦的任何供應商特定的定製 DRAM 演算法？
使用者是否可以在計畫的停機時間內執行全面的現場 HBM 測試和診斷？

成功部署 cHBM 需要一個全面支援的生態系統，將 IP 提供商、DRAM 供應商、SoC 設計人員和 ATE 公司聚集在一起。例如，由於互連的數量和密度，傳統的 ATE 無法用於測試 cHBM。儘管如此，cHBM 承諾提供的額外靈活性顯然引起了業界的關注，正如Marvell 最近與三大 DRAM 供應商聯合發佈的公告所示。

選擇正確的合作夥伴對於 cHBM 的成功至關重要。Socionext 等合作夥伴已成功為 HBM 子系統部署了 Synopsys SLM 解決方案。使用 Synopsys SLM ext-RAM 和 SHS 解決方案的示例可用。Synopsys路線圖上有幾項支援 cHBM 的增強和改進。該公司正在與 DRAM 供應商、SoC 提供商、ATE 公司和終端使用者合作，以加速 cHBM 的採用和使用。 (半導體產業縱橫)