AI浪潮，帶動記憶體晶片再進化

透過小晶片（Chiplet）、HBM等樣態利用先進封裝支援各種運算需求建構半導體跨域生態系

全球產業數位化，數位資料規模攀升，加上AI技術興起，全球對資料處理、大數據分析與AI應用的需求快速成長，間接提高對支援高效能運算（HPC）與AI運算的硬體裝置及晶片要求。以雲端資料中心伺服器來說，HPC與AI運算需求下，需要搭配升級的晶片包含作為運算核心的中央處理器（CPU）與圖形處理器（GPU）、伺服器基板管理晶片（BMC）、電源管理晶片（PMIC）、高速傳輸晶片，以及儲存等。

其中，儲存除用於長期儲存資料、屬於非揮發性儲存的NAND Flash固態硬碟（SSD），也包含用於即時高速運算暫存資料、屬於揮發性儲存的靜態隨機存取儲存（SRAM）與動態隨機存取儲存（DRAM）。

儲存在晶片運算過程中的主要作用，是暫存運算過程中的中間值或參數。傳統的暫存用儲存可區分為晶片內部的快閃（Cache）儲存與外部連接的DRAM。隨著運算效能持續提升，晶片對內部與外部儲存的容量與資料存取速率要求提高，特別是內部Cache儲存。在封裝的空間尺寸有限下，將小晶片（Chiplet）透過先進封裝在單一晶片內形成更高密度的堆疊整合，成為提高晶片內部儲存容量的重要選項。

先進封裝技術發展針對晶片運算效能與功能持續提升的需求，透過中介層、矽穿孔與微凸塊等技術達成2.5D/3D的小晶片堆疊，使業者能在更小空間內達成更多運算單元與晶片功能整合。超微（AMD）的Ryzen 7 5800X3D晶片就是儲存小晶片與CPU堆疊整合的例子：透過在CPU上方堆疊64MB的SRAM儲存小晶片，將CPU原本32MB的Cache儲存擴充為96MB，讓CPU運算效能提升15%。

不過，用於HPC或AI運算的高階GPU晶片，如英偉達（NVIDIA）的H100與超微的MI300，其主要運算架構是以GPU運算核心搭配可快速大量存取傳輸資料的高頻寬儲存（ HBM ） ，二者透過先進封裝技術，也就是台積電的CoWoS 2.5D封裝技術在中介層上整合連接。

HBM是超微與儲存大廠SK海力士、聯電、日月光等夥伴合作開發，SK海力士在2015年量產第一代HBM（HBM1），導入超微Radeon Rx300 GPU晶片。隨後南韓與儲存大廠Samsung Electronics與Micron Technology也投入HBM開發。其主要結構是由多層DRAM儲存小晶片形成的高容量儲存垂直堆疊，最下層是HBM的控制晶片。堆疊中上一層DRAM與下一層DRAM間的訊號透過微凸塊連接，而上一層DRAM的訊號可穿過下一層DRAM的矽穿孔與更下層的DRAM甚至最下層的控制晶片連接，再向下傳遞至基板。垂直堆疊的短距離確保層與層間的訊息傳輸快速且耗能低，間接提升運算效能。

在CoWoS架構下，GPU運算核心可搭配多個HBM堆疊。目前全球已發展到HBM3的最新規格，在HBM堆疊數、垂直堆疊層數及層間訊號連接通道數都有增加；如從HBM2到HBM3，堆疊數可從八個增至16個，有效提升存儲的資料容量與存取傳輸速率。

HBM主要搭配GPU這類高運算效能晶片，本身主要結構採用3D堆疊的先進封裝製作，再以CoWoS先進封裝與GPU運算核心整合，形成完整的GPU晶片。若非GPU採用7奈米以下先進製程製作，是屬於高單價產品，要以先進封裝整合HBM的晶片生產成本是難以承受。在超微Ryzen 7 5800X3D晶片的例子中，CPU上方堆疊SRAM小晶片，為提高儲存容量，也需以先進製程製作SRAM，成本高。

針對智慧物聯網（AIoT）應用所需中等算力需求，有半導體業者提出非先進製程運算晶片搭配客製化DRAM儲存的解決方案，將儲存與運算晶片以3D封裝垂直堆疊。所謂的客製化DRAM存儲，是根據運算晶片的電路與內連線的接觸電極分佈，設計出DRAM晶片的電路與資料存取傳輸通道位置，使運算晶片與垂直堆疊的DRAM小晶片之間能有高效率的資料存取傳輸，以提升運算效能。運算晶片是以AIoT應用所需的單晶片（SoC）或特殊應用晶片（ASIC）為主，而DRAM高於SRAM的儲存密度，讓DRAM小晶片在不採用先進製程下可擁有相當於SRAM小晶片的容量，也是成本優勢。

有儲存業者與晶圓代工業業者、封測業者、IC設計業者合作，建構解決方案平台，依照應用需求，完成ASIC、DRAM以及二者封裝連接與散熱等需求的完整設計。無論是ASIC與DRAM都採用成熟製程製作，相較HBM、SRAM與先進製程運算晶片的組合，成本降低，可因應應用開發業者對成本結構的要求。

應對日漸增加的AI應用，儲存以小晶片或HBM等不同的樣態，可透過先進封裝技術與運算晶片形成單一晶片封裝，支援不同類型的運算需求，也促成半導體產業鏈跨領域多元整合的生態體系發展。（半導體產業觀察）