隨著大模型（LLM）參數從十億級邁向兆級，模型對記憶體容量和頻寬的需求也在快速增長。而LLM在生成階段性能主要受限於記憶體頻寬，這意味著單純提升算力還不夠，必須打破“記憶體牆”才能釋放AI性能。
據統計，計算能力在過去二十年的提升速度為60000倍，大幅度快於記憶體頻寬的100倍。這種失衡使得記憶體頻寬成為制約系統整體性能的短板，且缺口隨時間推移越來越大。
除了頻寬，記憶體能效是另一大挑戰。雖然每一代DRAM都提升了頻寬，但對應單位位元能耗的下降幅度卻跟不上頻寬增長。這意味著在追求高頻寬的同時，也遇到到更大的功耗問題。2010年至2020年間，CPU功耗增長1.7倍，而記憶體訪問功耗增長了9.8倍，佔比從3%升至29%。
更值得注意的是，記憶體與計算之間的資料移動功耗佔主因，它超過了記憶體核心本身的功耗。那如何解決這頻寬與功耗這兩個性能障礙呢？最直接的思路就是採用先進封技術裝縮短記憶體與計算兩者之間的物理距離，比如2.5D與3D先進封裝技術。
與傳統的2D封裝技術相比，2.5D先進封裝技術通道長度可減半，訊號完整性提升73%，並可以節省PHY功耗。
此外，因為先進封裝技術可以布更密/更多的線，因此可以採用低速、寬IO架構實現更低功耗。包括低擺幅、無終端匹配、動態功耗最佳化等設計，相比窄IO可節省24%以上功耗。
典型的代表就是HBM，擁有大量IO，多個HBM核心裸片通過TSV堆疊連接。HBM誕至今，性能也在持續提升，從HBM2到HBM4，頻寬從307GB/s躍升至2TB/s以上。HBM通過矽中介層等2.5D先進封裝技術與計算晶片緊密封裝在一起，也是目前滿足算力與記憶體高效互動的主流方案（例如輝達的GPU及Google的TPU等高端算力晶片）。
模型對記憶體容量/頻寬的渴求也一直推動封裝技術的極限擴展，HBM目前主要從垂直方向（堆疊層數）、水平方向（HBM數量）和單片密度三個維度發力。
而PIM則代表了“以存代算”的思想轉變。既然資料搬運昂貴，不如直接在記憶體器內部完成計算。通過在DRAM Bank層級嵌入計算單元，PIM可以繞過外部IO瓶頸，利用內部極高的平行頻寬進行運算。
但技術落地不僅靠硬體。PIM改變了傳統程式設計模型，若缺乏軟體的支援，開發者則將無法發揮其效能。
相似的思路，當然也可以從HBM本身出發，在HBM的Base Die整合計算核心,使HBM從單純的記憶體器件進化為支援部分計算功能的異構體。在此基礎上，還可以發展HBM與計算晶片的垂直堆疊技術，將計算晶片直接堆疊在HBM之上或之下。這種垂直互連可消除中介層的橫向走線限制，實現最短路徑和最高密度。當然，這也同時帶來了散熱和標準介面定義的嚴峻挑戰。而混合鍵合因其無凸點、高密度、低熱阻特性，則被視為解決3D HBM互連與散熱雙重難題的關鍵工藝。
參考：Kyungryun Kim,Advancements in Co-Packing and Co-Integration Technologies for High-Performance Memory System, VLSI2024. (光芯紀)