為解決人工智慧(AI)晶片所面臨的“記憶體牆”這一長期挑戰,根據韓媒zdnet報導,記憶體封裝領域正在討論採用新一代AI晶片設計,將圖形處理單元(GPU)或ASIC計算單元和高頻寬記憶體(HBM)拆分開來進行獨立封裝,然後通過“光學互聯”技術來連接它們,可以將當前8顆HBM的安裝數量提升到現在的數倍。
儘管每一代GPU性能都在大幅提升,但儲存資料的供應速度遠遠跟不上,HBM雖然提供了更寬的資料通道,但面對AI運算需求的爆炸式增長,頻寬和傳輸速度仍然不足。特別是隨著高頻寬記憶體(HBM)堆疊層數從12層、16層向20層以上邁進,垂直堆疊技術已走到臨界點——不僅工藝難度呈指數級上升,JEDEC甚至已放寬HBM高度規範,但更大的瓶頸在於:GPU晶片周圍的容納HBM的空間已耗盡,無法再橫向增加HBM數量。
過去,HBM一直緊貼在GPU旁邊,這是為了最小化資料傳輸延遲的必然選擇。然而,在2.5D封裝結構下,GPU晶片的“海岸線”——邊緣的長度嚴格限制了可容納的HBM數量,GPU晶片周圍的現有空間已經無法安裝更多HBM。
一位韓國大型儲存廠商的研究人員向ZDNet透露:“目前,我們正努力擴展HBM的頻寬和容量,但我們正在與客戶討論如何通過光連接克服GPU的‘海岸線’限制,可以安裝更多的HBM。”