【導讀】過去25年，半導體製程過程不斷逼近極限，才有了ChatGPT的誕生。如今世界最強輝達GPU已有超2,080億個電晶體。台積電大佬預測，未來十年，1兆電晶體GPU將問世。

GTC 2024大會上，老黃祭出世界最強GPU－Blackwell B200 ，整整封裝了超2,080億個電晶體。

比起上一代H100（800億），B200電晶體數是其2倍多，而且訓AI性能直接飆升5倍，運行速度提升30倍。

若是，將千億級電晶體數擴展到1兆，對AI界意味著什麼？

今天，IEEE的頭版刊登了台積電董事長和首席科學家撰寫的文章－「我們如何實現1兆個電晶體GPU」？

這篇千字長文，主打就是為了讓AI界人們意識到，半導體技術的突破為AI技術帶來的貢獻。

從1997年擊敗西洋棋人類冠軍的「深藍」，到2023年爆火的ChatGPT，25年來AI已經從實驗室中的研究項目，被塞入每個人的手機。

這一切都要歸功於，3個層面的重大突破：ML演算法創新、大量數據，以及半導體製程的進步。

台積電預測，在未來10年，GPU整合的電晶體數將達到1兆！

同時，未來15年，每瓦GPU效能將提升1,000倍。

半導體製程不斷演變，才誕生了ChatGPT

從軟體和演算法到架構、電路設計乃至裝置技術，每一層系統都大幅提升了AI的效能。

但是基礎的電晶體裝置技術的不斷提升，才讓這一切成為可能：

IBM訓練「深藍」所使用的晶片製程是0.6微米和0.35微米。

Ilya團隊訓練贏得ImageNet大賽的深度神經網路採用的40奈米製程。

2016年，DeepMind訓出的AlphaGo戰勝了李世石，使用了28奈米製程。

而訓練ChatGPT的晶片基於的是5奈米工藝，而最新版的ChatGPT推理伺服器的晶片工藝已經達到了4奈米。

可以看出，從1997年到現在，半導體製程節點的進步，推動瞭如今AI飛躍式的發展。

如果AI革命想要繼續維持當前的發展速度，那麼它更需要半導體產業的創新和支持。

如果仔細研究AI對於算力的要求會發現，最近5年，AI訓練所需的計算和記憶體訪問量增加了好幾個數量級。

以GPT-3為例，它的訓練所需的計算量相當於每秒進行超過5千萬億次的運算，持續整整一天（​​相當於5000千兆浮點運算天數），同時需要3TB（3萬億位元組）的記憶體容量。

隨著新一代生成式AI應用的出現，對運算能力和記憶體存取的需求仍在迅速增加。

這就帶來了一個迫在眉睫的問題：半導體技術如何跟上這種發展的速度？

從整合晶片到整合晶片組

自從積體電路誕生以來，半導體產業一直在想辦法把晶片造得更小，這樣才能在一個指甲蓋大小的晶片中整合更多的電晶體。

如今，電晶體的整合製程和封裝的技術已經邁向更高層次——產業已經從2D空間的縮放，朝向3D系統整合邁進。

晶片產業正在將多個晶片整合到一個整合度更高、高度互連的系統中，這標誌著半導體整合技術的巨大飛躍。

AI的時代，晶片製造的一個瓶頸在於，光刻晶片製造工具只能製造面積不超過大約800平方毫米的晶片，這就是所謂的光刻極限。

但現在，台積電可以透過將多個晶片連接在一塊內嵌互連線路的矽片上來突破這一極限，實現在單一晶片上無法達到的大規模整合。

舉個栗子，台積電的CoWoS技術能夠將多達6個光刻極限範圍內的晶片，以及十二個高頻寬記憶體（HBM）晶片封裝在一起。

高頻寬記憶體（HBM）是AI領域越來越依賴的關鍵半導體技術，它透過將晶片垂直堆疊的方式來整合系統，這項技術在台積電被稱為系統整合晶片（SoIC）。

HBM由多層DRAM晶片垂直堆疊而成，他們都位於一個控制邏輯IC之上。它利用矽穿孔（TSV）這種垂直連接方式讓訊號穿過每層晶片，並透過焊球來連接各個記憶體晶片。

目前，最先進的GPU都非常依賴HBM技術。

未來，3D SoIC技術將提供一種新的解決方案，與現有的HBM技術相比，它將在堆疊晶片之間實現更密集的垂直連接。

透過最新的混合鍵合技術，可以將12層晶片堆疊起來，從而開發出全新的HBM結構，這種銅對銅（copper-to-copper）的連接方式比傳統的焊球連接更為緊密。

論文網址：https://ieeexplore.ieee.org/document/9265044

這種記憶體系統在一個更大的基礎邏輯晶片上以低溫鍵合，整體厚度僅600微米。

隨著由眾多晶片組成的高效能運算系統運行大型AI模型，高速有線通訊可能成為運算速度的下一個瓶頸。

目前，資料中心已經開始使用光互連技術連接伺服器架。

文章網址：https://spectrum.ieee.org/optical-interconnects

不久的將來，台積電將需要基於矽光子技術的光接口，把GPU和CPU封裝在一起。

論文網址：https://ieeexplore.ieee.org/document/10195595

這樣才能實現GPU之間的光通信，提高頻寬的能源和麵積效率，從而讓數百台伺服器能夠像一個擁有統一記憶體的巨型GPU那樣的方式高效運作。

所以，由於AI應用的推動，矽光子技術將成為半導體產業中最關鍵的技術之一。

邁向一兆電晶體GPU

目前用於AI訓練的GPU晶片，約有1000億的電晶體，已經達到了光刻機處理的極限。

若想繼續增加電晶體數量，就需要採用多晶片，並透過2.5D、3D技術進行集成，來完成計算任務。

目前，已有的CoWoS或SoIC等先進封裝技術，可在GPU中整合更多電晶體。

台積電預計，在未來十年內，採用多晶片封裝技術的單一GPU，將擁有超1兆電晶體。

同時，也需要將這些晶片透過3D堆疊技術連接起來。

但幸運的是，半導體產業已經能夠大幅縮小垂直連接的間距，從而增加了連接密度。

而且，未來在提高連接密度方面還有巨大的潛力。台積電認為，連結密度成長一個數量級，甚至更多是完全有可能的。

GPU的能源效率效能趨勢

那麼，這些領先的硬體技術，是如何提升系統整體效能的呢？

透過觀察伺服器GPU的發展，可以明顯看到一個趨勢：所謂的能源效率效能（EEP）——一個反映系統能效和運作速度的綜合指標——正穩步提升。

過去15年中，半導體產業已經實現了，每兩年將EEP提高約3倍的壯舉。

而在台積電看來，這種成長趨勢將會延續，將會得益於眾多方面的創新，包括新型材料的應用、設備與整合技術的進步、EUV技術的突破、電路設計的最佳化、系統架構的革新，以及對所有這些技術要素進行的綜合優化等因素的共同推動。

此外，系統技術協同優化（STCO）這一概念將變得日益重要。

在STCO中，GPU內不同的功能模組將被分配到專屬的小晶片（chiplets）上，每個模組都採用最適合其性能和成本效益的技術進行打造。

這種針對每個部件的最優化選擇，將對提高整體性能和降低成本發揮關鍵作用。

3D積體電路的革命性時刻

1978年，加州理工學院的Carver Mead教授和Xerox PARC的Lynn Conway，共同開發了一種革命性的電腦輔助設計方法。

他們制定了一系列設計規則，簡化了晶片設計的流程，讓工程師即使不深諳製程技術，也能輕鬆設計出複雜的大規模積體電路。

論文地址：https://ai.eecs.umich.edu/people/conway/VLSI/VLSIText/PP-V2/V2.pdf

而在3D晶片設計領域，也面臨類似的需求。

- 設計師不僅要精通晶片和系統架構設計，還需要掌握硬體與軟體最佳化的知識。

- 而製造商則需要深入了解晶片技術、3D積體電路技術和先進封裝技術。

就像1978年那樣，我們需要一種共通語言，讓電子設計工具能夠理解這些技術。

如今，一種全新的硬體描述語言——3Dblox，已經得到了當下多數技術和電子設計自動化公司的支持。

走出隧道，迎接未來

在人工智慧的大潮中，半導體技術成為了推動AI和應用發展的關鍵力量。

新一代GPU已經打破了傳統的尺寸和形狀限制。半導體技術的發展，也不再侷限於僅在二維平面上縮小電晶體。

一個AI系統可以整合盡可能多的節能晶體管，擁有針對特定運算任務最佳化的高效系統架構，以及軟硬體之間的最佳化關係。

過去50年，半導體技術的進步就像是在一條明確的隧道中前進，每個人都清楚下一步該怎麼做：不斷縮小電晶體的尺寸。

現在，我們已經走到了這條隧道的盡頭。

未來的半導體技術開發將面臨更多挑戰，但同時，隧道外也有更廣闊的可能性。

而我們將不再被過去的限制所束縛。（新智元）

參考資料：https://spectrum.ieee.org/trillion-transistor-gpu