HBM 4， 大戰開打！

AI的火熱，除了帶動GPU的大紅大紫以外，背後的重要儲存技術HBM也在過去幾年沖上了風口浪尖。最近，SK hynix和三星的業績和動作標明，HBM在未來大有可為。

根據路透社報導，HBM 晶片目前佔通用記憶體市場的15%，而去年這一比例為8%。 SK 海力士在HBM 市場擁有最大的市場份額，由於生成式AI 熱潮刺激了對Nvidia GPU 的需求，該市場的需求激增。它是佔據AI GPU 市場80% 份額的Nvidia 的HBM3 記憶體唯一供應商，並於3 月開始量產最新一代HBM3E。美光和三星等競爭供應商正在開發自己的HBM 產品，以阻止SK 海力士主導市場。

而圍繞著HBM，廠商們也都各出奇招。除了針對現有技術進行深耕，並圍繞未來的HBM 4，悄然吹響進攻號角（關於HBM4，可以參考文章《HBM4要來了》）。另外，說明一下，因為筆者沒找到美光關於HBM技術的更多介紹，所以本文中就沒有談到他在HBM技術的展望和分享，希望大家補充。

SK海力士堅持MR-MUF

據SK hynix所說，目前，封裝技術已經超越了「將晶片電氣連接，並保護晶片免受外部衝擊」的傳統作用，而是成為實現差異化產品性能的重要技術。 SK海力士HBM以矽通孔技術（TSV：Through Silicon Via）、批量回流模製底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進封裝製程作為核心技術，贏得了卓越的市場聲譽。

其中，TSV技術常見，而在MR-MUF中，批量回流焊接（MR）是透過融化堆疊晶片之間的凸塊，讓晶片互相連接的技術。模塑底部填充（MUF）是在堆疊的晶片之間填充保護材料從而提高耐久性和散熱效果的技術。使用MR-MUF，則可同時封裝多層DRAM。

具體而言，從技術上流程來看，在DRAM 下方，有連接晶片的鉛基「凸塊」。 MR 技術涉及加熱並同時熔化所有這些凸塊以進行焊接。連接完所有DRAM 後，接下來會進行稱為MUF 的過程來保護晶片。注入以優異散熱性而聞名的環氧密封劑來填充晶片之間的間隙並將其封裝。然後透過加熱和加壓使組件硬化，從而完成HBM。

SK海力士將這一過程描述為「像在烤箱中烘烤一樣均勻地施加熱量，並一次粘合所有晶片，使其穩定且高效。

在最近的一篇部落格中SK hynix高層表示，為適應AI時代的需求，SK海力士專注於開發'標誌性存儲產品'以滿足客戶對於性能、功能、尺寸、形態、功效等方面的差異化需求。為了實現這一目標，公司正在推進TSV和MR-MUF的技術發展，這些技術在HBM性能中發揮關鍵作用。

值得一提的是，雖然MR-MUF被廣泛使用，我們不得不承認，MR-MUF 擁有容易翹曲、導致晶圓末端彎曲、空洞現象（即保護材料在某些區域分佈不均勻）也會對MR-MUF 的可靠性產生負面影響等缺點。但SK hynix表示，與HBM開發初期相比，他們成功地減少了翹曲現象，目前我們正在開發克服這一問題的技術。下一步，抉擇會聚焦在減少空隙。

SK hynix高層強調，公司旨在實現'超越HBM的封裝技術'任務。如他所說，短期內，我們的主要目標是擴大在韓國國內的產能，以因應HBM市場的需求，同時我們也要充分利用全球各地的生產基地，以實現收益最大化。從長遠來看，正如目前作為HBM核心製程的MR-MUF技術一樣，確保開發創新的先進封裝技術是我們的目標。

此外，SK hynix也致力於芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進封裝技術的開發，以支援半導體記憶體和邏輯晶片之間的異構集成，同時促進新型半導體的發展。當中，Hybrid bonding也是被視為HBM封裝的另一個新選擇。但根據先前的計畫不一樣，SK海力士打算在下一代的HBM 4中持續採用尖端封裝技術MR-MUF。作為替代方案而出現的混合鍵合技術預計會由於HBM 標準的放寬而緩慢引入。

在日前的一場技術大會上，SK hynix分享道，下一代封裝技術正朝著記憶體、邏輯和控制器融合的方向發展，例如2.5D，SK海力士也在使用這些技術使HBM 更加穩健。

在談到HBM未來的時候，SK Hynix認為，市場將更傾向於專業化(Specialized)和客製化(Customized)產品，以滿足客戶需求。他強調，對於新一代HBM，卓越的效能是基本條件，同時，也必須具備滿足不同客戶的特定需求、超越傳統記憶體效能的優勢。

此外，SK 海力士公司早前也與台積電(TSMC) 簽署諒解備忘錄(MoU)，合作開發下一代HBM，並透過先進封裝技術增強邏輯和HBM 整合。

該公司計劃透過此舉措繼續開發HBM4，即HBM 系列第六代產品，預計將於2026 年開始量產。

SK海力士表示，AI儲存領域的全球領導者與台積電的合作將帶來HBM技術的更多創新。此次合作還有望透過產品設計、代工廠和記憶體提供者之間的三邊合作實現記憶體效能的突破。

兩家公司將首先專注於提高安裝在HBM 封裝最底部的基礎晶片的效能。 HBM 的製作方法是將核心DRAM 晶片堆疊在採用TSV（矽通孔）技術的基礎晶片之上，並使用TSV 將DRAM 堆疊中的固定數量的層垂直連接到具有TSV 的核心晶片，形成HBM 封裝。位於底部的基礎晶片連接到控制HBM 的GPU。

SK海力士已使用專有技術製造高達HBM3E的基礎晶片，但計劃在HBM4基礎晶片上採用台積電的先進邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助於SK 海力士生產客製化HBM，滿足客戶對性能和功效的廣泛需求。

SK海力士和台積電也同意合作優化SK海力士的HBM和台積電的CoWoS（基板上晶圓晶片）技術的集成，同時合作響應常見客戶與HBM相關的要求。

SK 海力士總裁兼AI 基礎設施負責人Justin Kim表示：「我們希望與台積電建立強有力的合作夥伴關係，以幫助加快我們與客戶的開放合作，並開發業界性能最佳的HBM4。」 「透過此次合作，我們將透過增強客製化記憶體平台領域的競爭力，進一步鞏固我們作為整體人工智慧記憶體供應商的市場領導地位。

「多年來，台積電和SK 海力士已經建立了牢固的合作夥伴關係。我們共同努力，整合最先進的邏輯和最先進的HBM，提供世界領先的人工智慧解決方案。」台積電的Kevin Zhang表示。 “展望下一代HBM4，我們相信我們將繼續密切合作，提供最佳整合解決方案，為我們的共同客戶開啟新的人工智慧創新。”

三星考慮混合鍵合

和SK Hynix不一樣，在HBM封裝上，三星採用的TC-NCF（thermal compression with non-conductive film），也就是非導電薄膜熱壓縮。

從技術上來看，這是一種與MR-MUF略有不同的技術。每次堆疊晶片時，都會在各層之間放置一層不導電的黏合膜。該薄膜是一種聚合物材料，用於使晶片彼此絕緣並保護連接點免受撞擊。隨著發展，三星逐漸減少了NCF 材料的厚度，將12 層第五代HBM3E 的厚度降至7 微米(μm)。該公司表示：“這種方法的優點是可以最大限度地減少隨著層數增加和晶片厚度減小而可能發生的翹曲，使其更適合構建更高的堆疊。”

根據三星介紹，TC NCF方法在堆疊更高層的優勢。但對於這項技術而言，優化熱量和壓力是其成功的關鍵。因此據報導，三星早前正在與設備製造商進行討論，以進一步提高其標新。面對SK海力士的競爭，三星電子在全公司範圍內集中力量，在2月宣布了「Advanced TC-NCF」技術。此技術可減少TC-NCF 製程中必要薄膜的厚度，從而在保持HBM 高度的同時增加半導體層數。

此外，有消息表示，三星的TC NCF良率不如SK hynix，所以三星電子考慮將MUF材料引入穿矽電極（TSV）製程。報導指出，三星還從日本購買了硬化（成型）設備，可以使這種MUF變得堅硬。補充說明一下，SK海力士在第二代HBM之前也使用NCF ，但從第三代（HBM2E）開始改用MUF（特別是MR-MUF）。分析家更是認為MUF是SK海力士能夠在HBM市場脫穎而出的原因，這也是為何有消息指出三星也在尋求開發並引進這項技術。一位熟悉三星情況的半導體產業高層表示，「據我了解，三星正在研究的MUF 材料與SK 海力士的技術並不完全相同」。

爾後，三星對此闢謠並強調公司將繼續在TC NCF上發力。在日前的一篇部落格中，三星更分享了他們對未來的看法。

在被問到公司目前HBM為何能如此與眾不同時，三星強調，公司在AdvancedTC NCF上的見解功不可沒。三星方面接著說，HBM 採用DRAM 晶片的垂直堆疊（例如8H 和12H）來提高容量和頻寬。然而，不同代的HBM 都遵循預定的整體厚度。在這種限制下，隨著附加層的堆疊，負責資料儲存的核心晶片不可避免地會變得更薄，這可能會給組裝帶來挑戰，導致晶片翹曲或破裂，以及熱阻增加。

在三星看來，HBM 的熱阻主要受晶片間距的影響，而三星擁有先進的高密度堆疊晶片控制技術，減少晶片之間NCF材料的厚度，並利用熱壓縮技術使晶片更加緊密。這種創新方法實現了業界最小的7 微米(um) 晶片間距。此外，在晶片鍵合過程中，三星策略性地設計了需要訊號傳輸的小凸塊和散熱至關重要的大凸塊。這種優化增強了散熱和產量。此外，應用製程技術在有限的封裝尺寸內最小化單一DRAM 晶片的尺寸，確保了卓越的量產能力和可靠性，從而提供了顯著的競爭優勢。

三星同時談到，業界越來越認識到，處理器和記憶體公司各自優化其產品的孤立努力不足以釋放AGI 時代所需的創新。因此，「客製化HBM」成為潮流，這也代表了實現處理器和記憶體之間協同優化以加速這一趨勢的第一步。為此，三星利用其在記憶體、代工、系統LSI和先進封裝方面的綜合能力。此外，三星也為下一代HBM 建立了專門的團隊，利用公司無與倫比的能力，我們致力於在塑造未來方面做出重大改變。

在談到未來的規劃時，三星表示，HBM 市場仍處於早期階段，預計將迅速發生變化，該公司的策略是透過預測市場發展並提前主動規劃和開發必要的產品來保持領先地位。隨著HBM 市場的成熟，三星預計三個重大變化將重塑該行業：

首先，「細分」。在HBM 的早期，硬體需要具有多功能性。然而，隨著服務圍繞著殺手級應用不斷發展，硬體基礎設施將不可避免地針對每個特定服務進行最佳化。為了因應這一趨勢，三星將提供一系列封裝選項（8H、12H 和16H）和基礎晶片變體，同時標準化核心晶片。

其次，處理器和記憶體之間的協同優化將需要更高程度的客製化。為了應對這項挑戰，三星將利用創建平台來最大限度地利用HBM 解決方案中的通用設計元素，並建立一個高效的系統，透過擴大我們的生態系統合作夥伴關係來滿足客製化請求。

第三，為了克服“電源牆”，處理器和記憶體之間的距離將變得更近。第一個創新在HBM4 中很明顯，它在其基礎晶片中採用了邏輯處理技術。第二項創新是隨著目前2.5D 到3D HBM 架構的轉變而發生的，而第三項創新涉及整合DRAM 單元和邏輯，這是設計HBM-PIM 的方法。在積極規劃和準備引領市場的同時，三星已開始與客戶和合作夥伴進行討論，以將這些創新變為現實。

三星強調，隨著HBM 作為生成式AI 最優化記憶體解決方案的地位變得不可否認，許多客戶和資料中心正在迅速採用它。然而，確保人工智慧服務不間斷至關重要。 ，即使是一個有缺陷的晶片也可能產生災難性的影響。因此，確保HBM 品質的設計和測試技術勢在必行。此外，開發能夠進一步降低功耗並提高系統能源效率的HBM 設計結構也至關重要。

為此，三星計劃透過針對高溫環境優化的NCF組裝技術和尖端製程技術，將16H技術融入下一代HBM4中。根據三星的規劃，HBM 4將在2025年生產樣品。

不過，三星副總裁Kim Dae-woo 早前在韓國一個會議上表示，三星正在考慮在HBM 4中使用混合鍵合或NCF，，並於2026年開始量產。混合鍵結更具優勢，因為它們可以緊湊地添加更多堆疊，而無需使用填充凸塊進行連接的矽通孔(TSV)。使用相同的技術，HBM 上的核心晶片DRAM 也可以變得更厚。

Kim 也表示，在最多8 個堆疊時，MR-MUF的生產效率比TC-NCF 更高，但一旦堆疊達到12 個或以上，後者將具有更多優勢。該副總裁也指出，當HBM4 推出時，客製化請求預計會增加。他補充說，緩衝晶片將變為邏輯晶片，因此晶片可以來自三星或台積電。

有報導也指出，英偉達還將採用三星的技術，做HBM的封裝，這對這家韓國巨頭來說，是另一個好消息。

台積電最新的封裝技術助陣

在北美技術研討會上，該公司推出了下一代晶圓系統平台——CoW-SoW——該平台將實現與晶圓級設計的3D 整合。該技術建立在台積電2020 年推出的InFO_SoW 晶圓級系統整合技術的基礎上，使其能夠建構晶圓級邏輯處理器。到目前為止，只有特斯拉在其Dojo 超級電腦中採用了這項技術，台積電表示該電腦現已投入生產。

在即將推出的CoW-SoW 平台中，台積電將在其晶圓系統平台中合併兩種封裝方法－InFO_SoW 和整合式晶片系統(SoIC)。透過使用晶圓上晶片(CoW) 技術，該方法將能夠將記憶體或邏輯直接堆疊在晶圓上系統之上。新的CoW_SoW技術預計將在2027年實現大規模生產，但實際產品何時上市仍有待觀察。

據了解，台積電的CoW-SoW專注於將晶圓級處理器與HBM4記憶體整合。這些下一代記憶體堆疊將採用2048 位元接口，這使得將HBM4 直接整合在邏輯晶片頂部成為可能。同時，在晶圓級處理器上堆疊額外的邏輯以優化成本也可能是有意義的。

「因此，在未來，使用晶圓級整合[將允許]我們的客戶將更多的邏輯和記憶體整合在一起，」台積電業務開發副總裁Kevin Zhang說。 「SoW 不再是虛構的；我們已經與客戶合作生產一些已經到位的產品。我們認為，透過利用我們先進的晶圓級整合技術，我們可以為客戶提供非常重要的產品使他們能夠繼續增強能力，為他們的人工智慧叢集或[超級電腦]引入更多計算、更節能的計算。

一般而言，晶圓級處理器（即Cerebras 的WSE），特別是基於InFO_SoW 的處理器，可提供顯著的性能和效率優勢，包括高頻寬和低延遲的核心到核心通訊、低功率傳輸網絡阻抗以及高能源效率。作為額外的好處，此類處理器還具有「額外」核心形式的額外冗餘。

然而，InFO_SoW技術有一定的限制。例如，使用這種方法製造的晶圓級處理器完全依賴片上記憶體，這可能無法滿足未來人工智慧的需求（但目前來說很好）。 CoW-SoW 將解決這個問題，因為它將允許將HBM4 放置在此類晶圓上。此外，InFO_SoW晶圓採用單節點加工，該節點不支援3D堆疊，而CoW-SoW產品將支援3D堆疊。

參考連結：

https://news.skhynix.com.cn/top-team-insights-motto-of-package-and-technology-head-woojin-choi/

https://semiconductor.samsung.com/news-events/tech-blog/the-perfect-harmony-created-by-samsung-hbm-powering-the-ai-era/

https://www.tomshardware.com/tech-industry/tsmc-to-go-3d-with-wafer-sized-processors-cow-sow-system-on-wafer-technology-allows-3d-stacking-for- the-worlds-largest-chips

https://www.eetasia.com/sk-hynix-and-tsmc-ink-mou-on-hbm-technology/

(半導體產業觀察)