HBM，一場韓國內戰，已無法避免!
對於韓國半導體產業來說，去年有一個好消息和一個壞消息。
壞消息是記憶體和儲存產業進入到了下行週期之中，庫存飆升，價格狂跌，韓國半導體廠商也因此蒙受了一次巨大的損失，近幾個季度的財報裡出現了虧損。
而好消息呢，就是在下行週期中，由於英偉達的AI加速卡帶動，HBM異軍突起，成為了唯一能逆市大幅增長的內存產品，而且韓國廠商佔據了90%的份額，一定程度上彌補了傳統內存業務的損失。
為了支持HBM的發展，韓國政府最近還將HBM確定為了國家戰略技術，將為HBM供應商如三星電子和SK海力士等提供稅收優惠，該決定屬於韓國稅法修正案執法法令草案的一部分，相比一般研發活動，國家戰略技術可享有更高的稅收減免：中小型企業可獲得最高40%至50%減免，而大型企業可獲得30%至40%減免。
2024年的HBM依舊火熱，英偉達的H100與200依舊是市面上最搶手的GPU，其對於HBM的需求自然也是水漲船高，對於三星和SK海力士來說，政策支持加上市場發展，繼續擴產HBM似乎已經是板上釘釘之事了。
擴產，再擴產
首先是HBM的領頭羊－SK海力士。
SK海力士去年第三季的業績是所有記憶體廠商裡最亮眼的，而在1月25日，SK海力士也發布了最新的2023年第四季及2023年全年財報：
第四季營收年增47%至11.3055兆韓元，高於分析師預期的10.4兆韓元；毛利為2.23億韓元，年增9404%，毛利潤率為20%，為連續第三本季回升；營業利潤為3,460億韓元（約18.54億元），優於分析師預期的虧損1,699.1億韓元，營業利潤率為3%；淨虧損為1.3795兆韓元（約73.94億元），優於分析師預期的虧損0.41兆韓元，但較前一季虧損大幅縮窄，淨虧損率為12%。 EBITDA（稅息折舊攤提前利潤）為3.58億韓元，較去年同期成長99%。
SK海力士在財報中指出，這一業績的實現主要歸功於SK海力士在第四季度AI存儲晶片HBM3和大容量移動DRAM等旗艦產品的銷售額大幅增長，分別比上年同期增長了4倍和5倍以上，AI伺服器和行動應用程式的需求上升，改善了2023年最後一個季度的整體記憶體市場狀況。
HBM作為財報裡最亮眼的一筆，SK海力士也在財報中表示，計劃在2024年增加資本支出，並將生產重心放在HBM等高端存儲產品上，HBM的產能對比去年將增加一倍以上，此前海力士曾預計，到2030年其HBM出貨量將達到每年1億顆，並決定在2024年預留約10萬億韓元（約合76億美元）的設施資本支出——相較2023年6兆-7兆韓元的預計設施投資，增幅高達43%-67%。
擴建的重點是新建和擴建工廠，去年6月有韓媒報道稱，SK海力士正在準備投資後段製程設備，將擴建封裝HBM3的利川工廠，預計到今年年末，該廠後段製程設備規模將增加近一倍。
此外，SK海力士還將在美國印第安納州建造一座最先進的製造工廠，據兩位接受英國《金融時報》採訪的消息人士透露，這家韓國晶片製造商將在這家工廠生產HBM 堆棧，這些堆棧將用於台積電生產的Nvidia GPU，SK 集團董事長表示，該工廠預計耗資220 億美元。
對比之下，三星在HBM上就顯得有些被動了，三星電子從去年第四季開始擴大第四代HBM即HBM3的供應，目前正進入一個過渡期。
1月31日，在第四季及年度財報電話會議上，三星電子表示預計記憶體業務將在今年第一季恢復正常，三星電子記憶體業務部門副總裁Kim Jae-joon 表示：「我們計劃積極應對與生成式AI 相關的HBM 伺服器和SSD 需求，重點關注提高盈利能力，預計內存業務將在今年第一季恢復盈利。”
記憶體業務恢復獲利的關鍵在於HBM、伺服器記憶體等高價值產品。值得注意的是，三星去年第四季HBM銷售額年增3.5倍，三星電子計畫集中其整個半導體部門（包括代工廠和系統LSI 業務部門）的能力，提供客製化HBM 以滿足客戶需求。
三星的代表評論道：「HBM 位銷售額每個季度都在打破記錄。去年第四季度，銷售額環比增長超過40%，同比增長超過3.5倍。特別是在第四季度，我們鎖定了主要GPU製造商作為我們的客戶。」 該代表進一步預測，「我們已經向客戶提供了下一代HBM3E的8層堆疊樣品，併計劃在今年上半年開始量產。到下半年，其佔比預計將達到90 %左右。”
負責三星美國半導體業務的執行副總裁Han Jin-man 則在今年1月表示，公司對包括HBM 系列在內的大容量存儲芯片寄予厚望，希望它能引領快速增長的人工智能芯片領域，“我們今年的HBM 晶片產量將是去年的2.5 倍，」他在CES 2024的媒體見面會上對記者說，“我們今年的HBM 晶片產量將比去年提高2.5 倍，明年還將繼續提高2 倍。”
三星官方也透露，該公司計劃在今年第四季之前，將HBM 的最高產量提高到每月15 萬至17 萬件，以此來爭取2024年的HBM市場。先前三星電子斥資105億韓元收購了三星顯示位於韓國天安市的工廠和設備，以擴大HBM產能，同時也計劃投資7,000億至1兆韓元新建封裝線。
HBM4爭奪戰
除了擴產外，它們也在為了下一代HBM標準而勾心鬥角。
HBM3e在去年底就提供了樣品，預計將於今年第一季完成驗證和量產，而大家更為關注的顯然是HBM4，其堆疊會從現有的12層增加到16層，可能會採用2048位元記憶體堆疊連接接口，但目前HBM4標準沒有最終確定，兩家韓國廠商對此提出了各自不同的路線。
根據Business Korea 報道，SK海力士正準備為下一代HBM 技術採用"2.5D 扇出"封裝。此舉旨在提高效能，降低封裝成本。這種技術以前未在內存行業使用，但在先進的半導體製造業很常見，被認為有可能"徹底改變半導體和代工行業"，SK 海力士計劃最早於明年公佈使用這種封裝方法的研究成果。
具體來說，2.5D 扇出封裝技術是將兩個DRAM水平排列，並將它們組裝成類似於普通晶片的結構，由於晶片下方沒有基板，因此晶片更薄，安裝在IT 設備中時厚度大大降低，同時，這種技術繞過了矽通孔（TSV）工藝，提供了更多的輸入/輸出（I/O）選擇，降低了成本。
目前的HBM堆疊被放置在GPU旁邊，並與晶片相連，而SK海力士的新目標是完全消除中間層，將HBM4 直接放在Nvidia 和AMD 等公司的GPU 上，並首選台積電作為代工廠。
根計劃，SK 海力士最早於2026 年量產第六代HBM（HBM4），此外，海力士還在積極研究"混合鍵合"技術，該技術很可能應用於HBM4 產品。
三星則是反海力士之道而行，研究起了光子技術在HBM 技術中間層的應用，目的是解決與熱和電晶體密度相關的挑戰。
三星先進封裝團隊首席工程師在2023 年10 月舉行的OCP 全球高峰會上分享了他的見解。他表示，目前業界透過兩種主要方法在將光子技術與HBM 整合方面取得了重大進展，第一種是在底層封裝層與包含GPU 和HBM 的頂層封裝層之間放置光子中間件，作為通訊層，但這種方法成本高昂，需要為邏輯晶片和HBM 安裝中間層和光子I/O。
而第二種方法是將HBM 記憶體模組從封裝中分離出來，利用光子技術將其直接連接到處理器。與處理複雜的封裝問題相比，更有效的方法是將HBM 儲存模組與晶片本身分離，並使用光子技術將其連接到邏輯積體電路。這種方法不僅簡化了HBM 和邏輯積體電路的製造和封裝成本，而且無需在電路中進行內部數位到光學轉換，只是需要注意散熱問題。
三星的一位高階主管部落格文章內表示，該公司目標是在2025年推出第六代HBM（HBM4），其中包括了針對高溫熱特性優化的非導電黏合膜（NCF）組裝技術和混合鍵結（ HCB）技術，以贏得快速成長的人工智慧晶片領域迫切激烈戰爭的主導權。
可以看到，兩家韓廠在下一代HBM標準上已經展開了一場激烈的爭奪戰。
美光，偷襲？
與上述兩家韓廠相比，美光處於一個明顯的弱勢地位，美光預計2023 年HBM市佔率約為5%，位居第三。
為了縮小差距，美光對其下一代產品HBM3E 下了很大的賭注，美光首席執行官Sanjay Mehrotra 表示：「我們正處於為Nvidia 下一代AI 加速器提供HBM3E 的驗證的最後階段。」其計劃於2024 年初開始大批量發貨HBM3E 內存，同時強調其新產品受到了整個行業的極大興趣，這暗示NVIDIA 可能不是唯一最終使用美光HBM3E 的客戶。
在具體規格方面，美光的24 GB HBM3E 模組基於八個堆疊24Gbit 記憶體晶片，採用該公司的1β (1-beta) 製造製程製造，其資料速率高達9.2 GT/秒，每個堆疊的峰值頻寬達到1.2 TB /s，比現有最快的HBM3 模組提高了44%。
而在未來的佈局方面，美光揭露了暫名為HBM next的下一代HBM 內存，其預計HBM Next 將提供36 GB 和64 GB 容量，能提供多種配置，例如12-Hi 24 Gb 堆疊(36 GB ) 或16-Hi 32 Gb 堆疊(64 GB) ，此外每個堆疊的頻寬為1.5 TB/s – 2+ TB/s，意味著總資料傳輸速率超過11.5 GT/s/pin。
與三星和SK海力士不同，美光並不打算把HBM 和邏輯晶片整合到一個晶片中，在下一代HBM發展上，韓系和美系內存廠商涇渭分明，美光可能會告訴AMD、英特爾和英偉達，大家可以透過HBM-GPU 這樣的組合晶片獲得更快的記憶體存取速度，但是單獨依賴某一家的晶片就意味著更大風險。
美國媒體表示，隨著機器學習訓練模型的增大和訓練時間的延長，透過加快記憶體存取速度和提高每個GPU 記憶體容量來縮短運行時間的壓力也將隨之增加，而為了獲得鎖定的HBM-GPU組合晶片設計（儘管具有更好的速度和容量）而放棄標準化DRAM 的競爭供應優勢，可能不是正確的前進方式。
在HBM 4這項尚未確定的標準上，美光似乎想來一場「偷襲」。
寫在最後
無庸置疑的是，HBM是所有內存廠商的機會，只要AI熱潮還未褪去，英偉達的GPU尚在熱賣，大家就能繼續賣利潤頗豐的HBM，就能交出成績還不錯的財報。
兩家韓國廠商不僅在市場上開始爭奪，彼此都在瘋狂擴產，在技術路線上也展開了較量，意圖拿到下一代標準的話語權，我們或許會看到今年三星和SK海力士在HBM上更多的動作。
而美光在押寶失敗後，再度投入重資在HBM之上，與韓廠相比，靠近英偉達的美光有著自身的優勢，考慮到此前的技術積累，它也可能會成為韓廠的最大競爭對手。
但就目前來看，90%以上的HBM產能已經被SK海力士和三星包辦，一場韓國內戰，已無法避免。(半導體產業觀察)