隨著大模型（LLM）參數從十億級邁向兆級，模型對記憶體容量和頻寬的需求也在快速增長。而LLM在生成階段性能主要受限於記憶體頻寬，這意味著單純提升算力還不夠，必須打破“記憶體牆”才能釋放AI性能。 據統計，計算能力在過去二十年的提升速度為60000倍，大幅度快於記憶體頻寬的100倍。這種失衡使得記憶體頻寬成為制約系統整體性能的短板，且缺口隨時間推移越來越大。 除了頻寬，記憶體能效是另一大挑戰。雖然每一代DRAM都提升了頻寬，但對應單位位元能耗的下降幅度卻跟不上頻寬增長。這意味著在追求高頻寬的同時，也遇到到更大的功耗問題。2010年至2020年間，CPU功耗增長1.7倍，而記憶體訪問功耗增長了9.8倍，佔比從3%升至29%。 更值得注意的是，記憶體與計算之間的資料移動功耗佔主因，它超過了記憶體核心本身的功耗。那如何解決這頻寬與功耗這兩個性能障礙呢？最直接的思路就是採用先進封技術裝縮短記憶體與計算兩者之間的物理距離，比如2.5D與3D先進封裝技術。