在Hot Chips大會上，三星和SK海力士都同意，GPU、記憶體、晶圓代工和封裝必須作為一個系統來設計。從那時起，它們的解決方案開始分道揚鑣。
三星正將基礎晶片轉變為系統中的一個活躍部分。它計畫將記憶體控製器從GPU上移到邏輯基礎晶片上，從而釋放GPU面積的5–10%，用於更多計算，並可能提升性能10–20%。選擇性的AI操作也可以在基礎晶片上運行，以減少資料移動。從長遠來看，它正在推動zHBM技術，該技術直接堆疊GPU和DRAM，預計將DRAM功耗降低約70%，同時頻寬增加一倍以上。
SK海力士則專注於更高堆疊並管理由此產生的熱量和翹曲問題。它確認HBM4 12層堆疊已進入生產階段，而16層版本已進入客戶驗證階段。混合鍵合是通往20層及更高堆疊的路徑，它允許使用更厚的晶片和更緊密的間距。其iHBM方法在堆疊最熱區域內部加入了一個專用的熱傳導路徑。這場競爭不再僅僅關乎頻寬和容量。基礎晶片架構和先進封裝正成為決定性戰場。
三星基於邏輯節點的定製基板晶片
在2026年Hot Chips演講中，三星電子發佈了zHBM，這是高頻寬記憶體的終極進化形態。該概念摒棄了2.5D中介層，將DRAM垂直堆疊在GPU等計算晶片之上，形成真正的3D整合架構，目標是將DRAM功耗降低70%，頻寬比HBM4E提升2.3倍。
三星制定了三階段路線圖，將基礎晶片從被動的資料傳輸通道轉變為主動的計算夥伴。第一階段將記憶體控製器從xPU移至基礎晶片，以回收矽片面積；第二階段為基礎晶片增加記憶體擴展和注意力計算能力；第三階段最終實現zHBM。
接下來，我們來看一下三星的方案。
在演講出事，他們提供了一些圖表，展示了HBM5在規格方面的發展趨勢。雖然一切都還沒有定論，但看看右上角的圖表也很有意思。
容量為 60GB、頻寬為 6TB/s 的 HBM5 固態硬碟就很不錯了。我們來算算具體資料。6 TB/s 的頻寬，2048 條通道，意味著每個引腳的傳輸速率為 23.5 Gbps。我們目前最先進的速度是 16 Gbps，這是一個巨大的進步，而採用先進的邏輯節點很可能實現這一目標。如果每個晶片容量為 3 GB，總容量為 60 GB，那麼堆疊高度將為 20 層。
在另一張幻燈片中，三星確認 HBM4E 的單引腳傳輸速率為 16 Gbps。我們之前對 HBM5 的計算結果也在下圖中得到了驗證。
三星的明顯優勢在於其擁有自主研發的邏輯晶片，而美光和SK海力士則需要與他人合作才能獲得該晶片。三星在此強調了自身優勢，並闡述了定製晶片的重要性。三星採用1C工藝製造記憶體，4nm工藝製造邏輯晶片，從而顯著降低了晶片的功耗。下圖暗諷了美光，後者在HBM4記憶體晶片中使用了DRAM工藝製造邏輯晶片。
更妙的是，如前文所述三星將產品路線圖清晰地劃分為三個階段。我們將逐一介紹。
第一階段：唾手可得的成果
當基片記憶體在邏輯節點時，HBM PHY 模組的物理面積會減小，能效也會提高。這意味著連接 HBM 和 XPU 的晶片間模組尺寸會更小。這有兩個優點：
- 增加 XPU 中的面積以進行更多計算；
- 增加 HBM 基片的可用面積，以實現更高級的功能。
尺寸縮小帶來的缺點是這些區域的熱密度更高。有趣的是，他們提供了不同代 HBM 中 PHY 模組的實際尺寸。
三星還提到，他們不傾向於在D2D鏈路中使用UCIe，因為UCIe尺寸更大，且每位元能耗更高。他們表示，他們定製的PHY實現方案性能更佳。在向 HBM5 過渡時，他們展示了整合熱路徑塊 (HPB)的概念，用於冷卻 D2D PHY 區域。
另一個主要優勢是記憶體控製器解除安裝，它可以從 XPU 轉移到定製的基礎晶片上。這釋放了 XPU 晶片上的空間，這些空間可以用來驅動更多浮點運算處理器。
在基片上整合邏輯節點的新優勢在於可以實現SRAM。如果DRAM堆疊中的某個單元損壞，該單元中的資訊可以暫時記憶體在SRAM中，記憶體控製器會從SRAM中尋找這些資訊，而不是從損壞的DRAM單元中尋找。可以將SRAM想像成一個備用筆記本，它就像一個臨時記事本，用來保存那些無法記憶體在損壞DRAM單元中的資料。
第二階段：RAS、測試、擴展、處理
使用邏輯節點作為基片意味著，如果電晶體尺寸較小，則用於許多此類功能的矽面積也會較小。節省下來的空間可用於多種用途，例如提高可修復性、可用性和可維護性 (RAS)、進行測試以及收集有關 HBM 記憶體堆疊健康狀況/狀態的遙測資料。鑑於 HBM 遙測資料是導致訓練失敗的第二大因素，因此 HBM 遙測資料將非常有用。
如果還有剩餘的矽面積，那麼就可以再建一個。記憶體擴展控製器用於在第一個HBM堆疊後面連接另一個HBM堆疊，或者插入DRAM晶片來擴充記憶體。
最後，既然邏輯電晶體可用，為什麼不在基片上也整合一些計算功能呢？這樣做的好處是，諸如矩陣壓縮或編碼之類的計算可以在邏輯晶片上完成，而無需離開基片。這在延遲和效率方面都有優勢。
如果一切順利，理論上就可以建構右下角那個精巧的加速器。繪製這樣的框圖很容易，概念上也很有趣，但它的實際性能提升是否顯著還值得懷疑。
第三階段：垂直化
最後階段是使用定製的基板晶片和HBM，並將其堆疊在邏輯晶片之上。計算晶片和記憶體晶片之間的距離很短，因此資料位只需在更短的距離上進行傳輸，這提高了能效，並由於能夠在晶片區域內（而不僅僅是晶片前沿）使用更多平行資料路徑而增加了記憶體頻寬。
這一切都不容易，但對公司而言，制定技術改進路線圖至關重要。這表明他們有信心在未來推出更優質的產品，這對公司來說是一件好事。至於市場是否準備好接受這款產品，則是另一個問題了。
SK海力士推進HBM5混合鍵合技術
SK 海力士美國公司封裝工程副總裁李在植 (Jaesik Lee) 於 8 月 23 日在 Hot Chips 2026 大會上發表講話時表示，SK 海力士預計混合鍵合技術無法滿足 HBM4E 的需求，這將使業界最受期待的記憶體封裝過渡最早也要等到 HBM5 才能實現。
正如他所描述的，問題在於HBM立方體的總厚度被限制在775微米——這是300毫米邏輯晶圓的標準厚度——因此，每增加一層DRAM都必須採用更薄的晶片和更窄的間隙。目前正在進行客戶認證的16層高密度HBM4（單立方體容量48GB，而12層高密度HBM4已量產）將其核心晶片的厚度減薄至約50微米，並將晶片間的間隙減半。李的演講還詳細介紹了該公司在5月份發佈三個月後推出的iHBM冷卻架構。李解釋說，該架構存在一個限制，即散熱模組不能應用於任何已在設計中的HBM產品。
JEDEC HBM4 標準將封裝厚度上限從 HBM3E 沿用的 720 微米提高到 775 微米，從而緩解了採用混合鍵合技術所帶來的壓力。Lee 表示，GPU 封裝在安裝冷板時，邏輯晶片和記憶體堆疊層都會被磨掉一部分，露出裸矽片。由於邏輯晶圓的厚度為 775 微米，如果記憶體晶片的高度再增加一些，就會超出旁邊處理器的高度。“這就是我們目前能夠提升的極限，因為邏輯晶圓的厚度也是 775 微米。” Lee 說道。
更薄的晶片意味著堆疊層中氧化層的比例更高，而氧化層的導熱性遠不如矽。此外，引腳速度從早期HBM的1 Gbps提升到HBM4的8 Gbps，使得相同面積內需要消耗更多功率。SK海力士自身的資料顯示，在所示的HBM各代產品中，熱負荷平均高出2.2倍，而堆疊層數每兩代就會翻一番。
該公司的大規模回流成型底部填充 (MR-MUF) 工藝，通過拾取和放置將所有晶片堆疊起來，並在一次回流中將它們連接起來，已經犧牲了利潤：據 Lee 稱，填充縮小了一半的間隙，同時控制小於 50 微米晶片的翹曲，是 16-Hi 的主要製造挑戰。
去年五月，三星公開承諾將採用混合鍵合技術生產HBM4 ，而SK海力士則將銅-銅鍵合技術作為先進MR-MUF技術的備選方案。隨後，JEDEC放寬了厚度限制，使得混合鍵合技術不再是當務之急。目前，業界正在討論將20層堆疊的厚度進一步提高到825至900微米，這將再次推遲銅鍵合技術的普及。
早在 3 月份，業內人士就聲稱 SK 海力士下了第一份大規模生產的混合鍵合訂單，這是一套價值約 200 億韓元（1500 萬美元）的單線系統，該系統結合了應用材料公司和 Besi 公司的工具。Counterpoint Research預計，該技術將在 2029 年至 2030 年左右隨著 HBM5 的推出進入全面 HBM 生產階段。
根據SK海力士的路線圖，混合鍵合技術目前仍處於研發階段，適用於20層及以上的堆疊結構，SK海力士仍在決定那款產品率先應用該技術。李先生並未透露具體是那一代產品，但排除HBM4E後，HBM5很可能是最早應用該技術的型號。該技術在室溫下將扁平的銅焊盤和氧化物表面連接起來，然後利用銅在固化過程中的熱膨脹形成鍵合。
“這看似簡單的工藝，實則極具挑戰性，”Lee說道。“我們需要16層甚至20層才能實現混合鍵合，這與單層堆疊截然不同。”完全移除微凸點可以讓核心晶片在20層高度下增厚24%，與相同高度的MR-MUF相比，熱阻降低約35%，並且凸點間距（根據晶片層圖）可低於18微米，而MR-MUF目前的間距為30微米。在HBM4的凸點間距下，傳統的微凸點仍然適用，而且每次JEDEC提高厚度上限時，MR-MUF都能繼續保持其可行性，並延續到下一代產品中。
iHBM 概念將導熱、絕緣的塊嵌入到基晶片的晶片間 PHY 區域（功率密度峰值的介面熱點），據稱可降低 30% 以上的熱阻。
李的幻燈片直接將iHBM與三星的散熱路徑模組（Heat Path Block）方案進行了對比。三星的散熱路徑模組通過專用散熱柱將熱量從晶片堆疊中匯出，而美光的晶片基片電路重新設計則聲稱能效提升超過20%。這三項都是廠商的說法，且衡量標準各不相同。SK海力士和三星的設計都計畫用於HBM5，但預計在2028年之前都不會量產。李表示，由於這些模組與D2D PHY晶片一起位於封裝內部，因此需要根據客戶的設計進行最佳化，而不能應用於已經設計好的晶片代，這使得iHBM成為一項協同設計工作。“這是一個我們可以做的不錯的選擇，但我們無法將其應用於我們已經設計好的晶片代。”
在問答環節，SemiAnalysis的 Tanj Bennett指出，堆疊更高的記憶體會降低矽片自身的吞吐量。DRAM 在單元級執行階段，每平方釐米的吞吐量約為 20 TB/s；而 20 層高的堆疊最高吞吐量約為 4 TB/s，並且 HBM 所需的製造產能遠高於同等規格的 DDR5 或 LPDDR。“當堆疊高度達到 20 層時，這種記憶體的平均速度反而比 DDR5 慢，”Bennett 說，“為什麼利用 HBM 堆疊的高度，而不是巧妙地在其周圍放置更便宜的記憶體呢？”
李回答說，訓練工作負載既需要頻寬也需要容量，然後補充說，推理過程可以兼顧兩者，將鍵值快取保留在高頻寬記憶體中，同時將部分工作解除安裝到 LPDDR 記憶體。這種分離技術已經在輝達的 Vera Rubin 平台等產品中得到應用，該平台正是為此目的而將 LPDDR5X 和 HBM4 通過 NVLink-C2C 協議進行池化。此外， SK 海力士與閃迪共同開發的高頻寬快閃記憶體規範將這種分層理念擴展到了 NAND 快閃記憶體。
李在談到分層方案時表示：“這也是我們未來需要考慮的問題。”據1月份的報導，SK海力士獲得了輝達Vera Rubin世代HBM晶片約70%的訂單，這些晶片都將採用MR-MUF技術。李表示，那款產品會率先採用MR-MUF技術，公司尚未做出決定。
Micron認為“記憶體牆”在惡化
在演講中，美光科技將探討人工智慧領域不斷發展的記憶體架構。據瞭解，美光科技將詳細闡述高頻寬記憶體和先進封裝技術如何成為人工智慧系統設計的核心。
Micron的演講以OpenAI的計算效率前沿理論開篇，闡述了記憶體為何對語言模型擴展至關重要。Micron指出模型規模、資料集規模和訓練計算量之間存在冪律關係，並認為這三者必須同步擴展才能提升語言模型的性能。記憶體正是將這三個因素聯絡起來的關鍵資源。
現在我們來談談記憶體瓶頸。美光表示，AI加速器的TFLOPS（浮點運算性能）大約每兩年增長3倍，而2.5D附加記憶體（例如HBM）的頻寬增長速度卻不到每兩年2倍。這種日益擴大的差距正是記憶體技術成為限制AI系統性能的關鍵因素的原因。
美光將HBM定位為計算與記憶體之間的橋樑，並追蹤了從HBM2e到HBM5各代產品不斷提升的容量、頻寬和能效。你得好好欣賞一下這場沒有Y軸標註的技術會議。
這裡，美光展示了一款典型的GPU，其封裝面積超過12000平方毫米，其中包括基礎晶片和八個HBM4視訊記憶體實例。這意味著，當使用12層HBM4視訊記憶體時，視訊記憶體矽片的面積可以超過GPU晶片本身面積的8倍。這確實是一個很直觀的展示。
HBM 提高了記憶體頻寬上限，改變了記憶體限制的邊界，使記憶體密集型 AI 工作負載能夠在達到記憶體限制之前更快地運行。
美光的演講現在正在詳細介紹HBM是什麼，以及每一代HBM的發展歷程。產品表格展示了從HBM1到HBM4的演變過程。每一代HBM都提高了資料速率、偽通道數和堆疊高度，從而提供更高的頻寬和更大的容量。
HBM 的安裝方式與標準的 ECC RDIMM 不同。下圖展示了 HBM 堆疊如何在異構整合系統中與 GPU 或加速器整合，並以系統級封裝 (SiP) 的形式封裝，而不是作為獨立的插槽模組。我想 STH 的許多人之前都見過這種設計。
每個 DRAM 晶片包含多個獨立通道，每個通道有兩個偽通道，HBM3E 每個晶片承載 128 個記憶體體，而 HBM4 則將其翻倍至 256 個。基體晶片位於主機和 DRAM 堆疊之間，主機側使用微凸點 PHY，堆疊側使用 3D TSV PHY，通過高密度點對點中介層連接，從 HBM3E 的 1K IO 增加到 HBM4 的 2K IO。
美光現在展示的是性能與容量之間的權衡。但他們在這裡並沒有真正展示PCB面積和功耗之間的差異。也許這會在以後的幻燈片中展示？
美光現在注意到這種速度帶來的矽片成本。設計架構、先進封裝和製造工藝的複雜性等綜合成本意味著，要實現與DDR5相同的HBM3E容量，所需的矽片量大約是DDR5的三倍。
美光隨後在演講中總結了支援人工智慧創新的記憶體參數，包括性能、容量和功耗。
更高速度的I/O鏈路和更大的中介層持續推動著SiP技術的進步，包括更快的I/O設計、針對記憶體器最佳化的SERDES和晶片間PHY，以及互連側的共封裝光學器件。基於CoWoS-L和CoWoS-R等技術的更大尺寸SiP以及玻璃基板也是封裝技術發展路徑的一部分。
現在我們來談談可靠性，包括晶片封裝互動和 RAS 挑戰。在異質整合 HBM 器件中，不同材料之間的熱膨脹係數不匹配會產生熱機械壓力。實際上，從更宏觀的角度來看，這正是Cerebras 的 WSE實現過程中面臨的最大挑戰之一。ECC 覆蓋範圍分為兩層：首先是 HBM3，在系統層面上，每個 256 位訪問使用 16 個元位元；其次是片上實現的基於符號的 Reed-Solomon ECC。
為了控制熱量，DRAM晶片活動增加、堆疊高度提高以及更先進的晶片基礎功能都會增加發熱量。美光指出，液冷、混合鍵合以及焊料和側模的改進是保持頻寬和容量擴展所需的散熱創新技術。
封裝趨勢似乎即將走到盡頭。
綜合來看，這些資料表明了美光科技如何應對人工智慧領域記憶體架構的演進。美光科技正在權衡提升HBM頻寬和容量與將如此大容量記憶體置於計算單元旁邊所帶來的封裝、散熱和可靠性成本之間的關係。
大家認為，HBM會有怎樣的走勢？ (半導體行業觀察)