為解決人工智慧（AI）晶片所面臨的“記憶體牆”這一長期挑戰，根據韓媒zdnet報導，記憶體封裝領域正在討論採用新一代AI晶片設計，將圖形處理單元（GPU）或ASIC計算單元和高頻寬記憶體（HBM）拆分開來進行獨立封裝，然後通過“光學互聯”技術來連接它們，可以將當前8顆HBM的安裝數量提升到現在的數倍。
儘管每一代GPU性能都在大幅提升，但儲存資料的供應速度遠遠跟不上，HBM雖然提供了更寬的資料通道，但面對AI運算需求的爆炸式增長，頻寬和傳輸速度仍然不足。特別是隨著高頻寬記憶體（HBM）堆疊層數從12層、16層向20層以上邁進，垂直堆疊技術已走到臨界點——不僅工藝難度呈指數級上升，JEDEC甚至已放寬HBM高度規範，但更大的瓶頸在於：GPU晶片周圍的容納HBM的空間已耗盡，無法再橫向增加HBM數量。
過去，HBM一直緊貼在GPU旁邊，這是為了最小化資料傳輸延遲的必然選擇。然而，在2.5D封裝結構下，GPU晶片的“海岸線”——邊緣的長度嚴格限制了可容納的HBM數量，GPU晶片周圍的現有空間已經無法安裝更多HBM。
一位韓國大型儲存廠商的研究人員向ZDNet透露：“目前，我們正努力擴展HBM的頻寬和容量，但我們正在與客戶討論如何通過光連接克服GPU的‘海岸線’限制，可以安裝更多的HBM。”
具體而言，HBM可能被安置在距離GPU數釐米的位置，圍繞GPU環形排列，或在電路板中央設立獨立的HBM區域。由於光訊號傳輸速度遠快於電訊號，物理距離的增加不會造成明顯的延遲損失，卻可以徹底擺脫GPU邊長對HBM數量的限制。
這意味著，AI晶片廠商不需要記憶體廠商拚命堆高HBM層數，就可以將HBM水平鋪展，在同一塊基板上搭載比目前多數倍的容量，從而將整個AI加速器系統的記憶體容量和資料頻寬推向前所未有的水平。
“所有可能性都擺在桌面上討論，”上述研究人員表示，“從充分利用GPU周邊空間的方案，到將HBM完全隔離到GPU基板下方的方案都有涉及。後者需要顯著擴展主機板尺寸和改變整體形態，目前已與GPU廠商展開討論。”他強調，這些還屬於下一代AI加速器的先行研究，尚未定案。
利用光學互連技術來連接GPU和HBM的設想並非空中樓閣。在2025年的Hot Chips大會上，Celestial AI已展示了其光子互聯模組，該技術使用光來連接下一代大規模GPU與加速器中的晶片，並可將光學介面佈置在ASIC晶片中間，將周邊空間留給HBM的電介面。
從產業化角度來看，全球OSAT廠商的一位高管對ZDNet表示：“光學互連已是明確的趨勢，問題只在時機。”他預測，技術落地將按規模由大到小推進——先在機架與機架之間、伺服器與伺服器之間採用光學連接，然後再進入單板內部的晶片間光互連。但他同時指出，目前光學研究速度非常快，晶片間光互連的時間點可能不會太遙遠。
一位韓國CPO器件開發企業的相關人士指出，GPU與HBM之間的光學互連，與資料中心伺服器間的光通訊原理相同，但必須將原本用於大型裝置的光電轉換技術縮小到晶片等級，“光學元件需要做得更小、整合度更高，技術難度更大。” (芯智訊)