在高效能運算系統，特別是AI伺服器中，記憶體（DRAM）的容量和頻寬指標越來越重要，因為處理器需要處理巨量資料，傳統DRAM已經無法滿足需求。目前，HBM是當紅炸雞。 相對於傳統DRAM，HBM的製造要複雜得多，它需要將多個DRAM晶片堆疊在一起，這就需要用到較為先進的封裝技術了。 隨著技術進步和市場需求的變化，HBM堆疊的密度也在增加，有機構統計，按照當下的勢頭髮展下去，將從2022年的16GB增加到2027年的48GB，DRAM大廠美光更加樂觀，預計2026年將出現64GB的HBMNext（HBM4），堆疊層數能達到16，這樣，使用16個32Gb的DRAM晶片就可以建造64GB的HBM模組，這需要記憶體製造商進一步縮小DRAM晶片的間距，需要用到新的生產技術，特別是更好的封裝技術。 通常情況下，HBM堆疊使用矽通孔（TSV）垂直連接多個DRAM晶片，這種具有TSV的堆疊架構允許非常寬的記憶體介面（1024位元）、高達36GB、64GB的記憶體容量，並可實現超過1TB/s的頻寬。