台積電SoW技術突破，如何改變半導體產業的未來？

在全球大模型火熱與摩爾定律變緩的雙重背景下（可以視為需求和技術曲線的超級剪刀差），台積電最近公佈了其晶圓級計算（集成）技術的突破性進展和量產計劃，也是晶圓上系統（System on Wafer，SoW）。目前預計Sow會大幅改變運算系統的發展進程，為大模型和未來的超級運算更大的算力支撐和擴展能力。 SoW的量產預告也意味著業界已經在緊鑼密鼓的籌備超越傳統GPGPU架構的新運算範式。

截至目前，只有Cerebras 和特斯拉使用SoW技術開發了晶圓級晶片。這也是目前晶圓級設計和3D IC的艱鉅挑戰：相對晶圓晶片的出色性能和能效，設計和生產的複雜度明顯更高，特別是需要解決面向熱均衡和應力均衡的良率問題。這也意味著傳統EDA的"晶片設計->封裝設計->封裝"流程在3D IC設計領域失效。

在晶圓上系統整合製程的研發取得突破性進展後，台積電確信，晶圓級設計的使用率不僅會大幅提升，而且人工智慧和HPC 等大趨勢將需要更複雜的解決方案：垂直堆疊的晶圓系統設計。鑑於台積電能知悉全世界最先進的Design House的技術方向，我們認為垂直堆疊的晶圓級系統將會快速發展。

晶圓上系統與3D IC

在晶圓上系統中，晶圓與附帶組件（例如電源模組和冷卻模組）組成一個完整的系統，而不僅僅是單一晶片。

晶圓上系統可以為設計者帶來許多好處，包括：

• 提高算力（提升單晶片電晶體數）
• 減少資料中心佔用空間
• 提高每瓦性能（能源效率）

本質上晶圓上系統變相將晶片面積擴大到整個晶圓（提升電晶體數量和算力），並且減少了晶片間互連的距離（減少互連功耗，減少互連線材佔用的空間）。

台積電的晶圓片上系統簡稱為SoW，目標是為資料中心和大模型等人工智慧應用顛覆性的效能提升。 （需要注意SoW也是台積電的註冊商標）

台積電目前的SoW方案包括InFO-SoW 和CoW-SoW（注意官方說法並非CoWoS-SoW）。據說InFO-SoW已經投入生產，客戶大概是特斯拉。

在晶圓級系統中，邏輯晶圓平面是整個系統的基礎。此晶圓設計需要充分考慮其結構層次、微架構、NoC、儲存層次和編譯框架。晶圓平面透過SoW整合技術進行互連。除了晶圓平面外，晶圓級系統還包括堆疊的記憶體晶片、散熱器和供電單元。

講到SoW就不得不提到3D IC。 3D IC即三維晶片，其概念與傳統的平面IC製程相對。例如比利時微電子研究中心（IMEC）提出的CMOS 2.0 ，將快取和記憶體分成獨立單元。然後以3D 排列方式堆疊在邏輯晶片功能上。與AMD 的3D V-Cache（將L3 記憶體堆疊在處理器頂部或下部）不太一樣，IMEC則是垂直堆疊L1、L2 和L3 快取。

但不管怎樣的堆疊，本質上還是希望將邏輯與儲存做的更近，以實現存算一體中的近存運算。

CoW-SoW

CoW即Chip on Wafer，屬於台積電的SoIC製程系列。

目前已有方案多使用InFO-SoW 或其他晶圓級整合方法，處理器設計人員需要在邏輯Die上整合大量的SRAM來提升效能。但這對於下一代AI 計算來說可能還不夠。 InFO-SoW也要求整個晶圓必須使用一種製造技術進行處理，難以進行不同製程Die的集成，特別是難以集成Memory（包括SRAM和DRAM）製程的Die。這樣的不足就催生了CoW-SoW的出現。

依照台積電路線圖，CoW-SoW將於2027 年實現量產。該技術允許使用CoW（Chip on Wafer）方法在SoW頂部堆疊Memory或邏輯Die。按照目前業內流傳的訊息，最早量產的目標是將HBM4透過堆疊的方式與晶圓級處理器整合在一起。相對現有的2.5D封裝方式，這種方法顯然可以在邏輯晶片上整合容量大的多的HBM。 （當年AMD選擇HBM的原因，就是因為在CPU週邊擺DDR容量上不去）

該技術與Info-SoW有相似之處，但顯然使用CoW的方式可以獲得更好的互連頻寬，成本也會明顯高於Info-SoW。

HBM4與HBM4E

HBM4和HBM4E顯然是與CoW-SoW技術伴生的。

據稱SK 海力士計劃在2025 年下半年推出採用12 層DRAM 堆疊的首批HBM4 產品，最早在2026 年推出他們的HBM4E 內存（頻寬將是HBM4 的1.4 倍）。在海力士的HBM4和HBM4E方案中，HBM直接堆疊在邏輯Die上或下，互連距離縮短為晶片厚度，不再需要晶片寬度距離的平面連接。

美光則預計在2026 年至2027 年期間將有36GB 到48GB 的​​12-Hi 和16-Hi 堆疊的HBM4推向市場。 2028 年將推出HBM4E，容量提高到每個堆疊48GB 到64GB。

Info-SoW

Info是整合扇出的縮寫。相對與CoWoS，Info具有低成本的優勢。

Tesla Dojo 的晶圓級處理器是基於台積電InFO-SoW 技術量產的首款解決方案，與系統級封裝(SiP) 相比，具有低延遲高頻寬、高性能、高頻寬密度、供電電阻也更低。 Dojo的每個訓練模組由5x5的D1晶片陣列排布而成，以二維Mesh結構互連。片上跨核心SRAM達到驚人的11GB，當然耗電量也達到了15kW的驚人指標。

當然Info-SoW結構上難以直接整合超大容量的HBM。我記得有人批評Groq 2019的方案中沒有集成HBM，但實際上根本原因在於：想做到將對等需求的HBM集成，就只能將HBM堆疊邏輯Die的上或下，在當時並沒有成熟的工藝Solution。

緊湊型通用光子引擎

順帶提一下與CoW-SoW密切相關的光互連技術。SoIC-X晶片堆疊技術將電晶片堆疊在光子晶片上(EIC-on-PIC) ，在晶片間以較低的阻抗互連。透過SoIC-X技術引入矽光連接，可以獲得更好的互連能效。

透過COUPE可以提供高達12.8 Tbps 的光纖連接。預計COUPE第一代產品將於2025 年在可插拔OSFP 設備中實驗性推出，運行速度為1.6 Tbps，是目前銅纜乙太網路(800 Gbps) 的兩倍速度。第二代預計於2026 年推出，作為「共封裝光學元件」(CPO)整合到CoWoS 封裝中，將矽光互連直接引入封裝中速度將達到6.4 Tbps。 COUPE 的第三代實現將直接整合到中介層（Interposer Layer）中，直接提供晶片級光互連，速度達到12.8 Tbps。

對半導體產業的影響

台積電SoW技術將推動的晶圓級計算技術的快速發展，預計對半導體產業會有極為影響深遠的影響。傳統的運算叢集互連（透過光纖和交換器）將迅速集成為晶圓運算模式，桌面超算和桌面叢集成為可能。

SoW技術在人工智慧之外，也有非常廣泛的應用空間，預計資料中心、高吞吐網路服務都會大量採用SoW技術降低IDC成本。結合新的矽光互連整合技術，摩爾定律將進一步延續，新的運算架構逐漸走入主流應用。(半導體產業縱橫)