強攻GPU，TPU晶片一夜躥紅

自ChatGPT爆火之後，AI大模型的研發層出不窮，而在這場“百模大戰”激戰正酣之際，美國晶片公司輝達卻憑藉其GPU在大模型計算中的出色發揮賺得盆滿缽滿。

然而，近日蘋果的一項舉動，給輝達的火熱稍稍降溫。

01 AI模型訓練，蘋果選擇TPU而非GPU

輝達一直是 AI 算力基礎設施領域的領導者，在 AI 硬體市場，尤其是 AI 訓練領域，其市場份額在 80% 以上，輝達GPU一直是亞馬遜、微軟、Meta、OpenAI 等眾多科技巨頭在 AI 和機器學習領域的首選算力解決方案。

因此，輝達也持續遭遇行業內多元挑戰，競爭對手中不乏自主研發GPU的強者，亦有探索創新架構的先驅。Google的TPU也憑藉其獨特優勢，成為輝達不容忽視的強大對手。

7月30日，蘋果公司發佈了一篇研究論文。在論文中，蘋果介紹了給Apple Intelligence提供支援的兩個模型——AFM-on-device（AFM是蘋果基礎模型的縮寫）和 AFM-server（一個基於伺服器的大語言模型），前者是一個30億參數的語言模型，後者則是一個基於伺服器的語言模型。

蘋果在論文中表示，為了訓練其AI模型，使用了Google的兩種張量處理器（TPU），這些單元被組成大型晶片叢集。為了建構可在iPhone和其他裝置上運行的AI模型AFM-on-device，蘋果使用了2048個TPUv5p晶片。對於其伺服器AI模型AFM-server，蘋果部署了8192個TPUv4處理器。

蘋果放棄輝達 GPU 轉向Google TPU 的戰略選擇，在科技界投下了一枚震撼彈，當日輝達股價應聲下跌超 7%，創下三個月來最大跌幅，市值蒸發 1930 億美元。

業內人士表示，蘋果的決定表明一些大型科技公司在人工智慧訓練方面可能正在尋找輝達圖形處理單元的替代品。

02 TPU VS GPU，誰更適合大模型？

在討論TPU與GPU誰更適合大模型之前，我們需要對這兩者有一個初步的瞭解。

TPU與GPU對比

TPU全稱Tensor Processing Unit，是Google專門為加速機器學習工作負載而設計的專用晶片，它主要應用於深度學習模型的訓練和推理。值得注意的是，TPU也屬於 ASIC晶片的一類，而ASIC是一種為了某種特定的需求而專門定製的晶片。

GPU大家就比較熟悉了，GPU是最初為圖形渲染設計的處理器，後來廣泛用於平行計算和深度學習。它具有強大的平行處理能力，經過最佳化後的GPU，也非常適合深度學習和科學計算等平行任務。

可以看到，這兩種不同的晶片在初始設計時便有著各自不同的目標。

與傳統的 CPU 相比，GPU 的平行計算能力使其特別適合處理大規模資料集和複雜計算任務，於是在 AI 大模型爆發的近幾年，GPU 一度成為 AI 訓練的算力硬體首選。

然而，隨著AI大模型的不斷髮展，計算任務在指數級地日益龐大與複雜化，這對計算能力與計算資源提出了全新的要求，GPU 用於 AI 計算時的算力利用率較低、能耗較高的能效比瓶頸，以及輝達 GPU 產品的價格高昂和供貨緊張，讓本就是為深度學習和機器學習而生的 TPU 架構受到更多的關注。GPU在這一領域的霸主地位開始面臨挑戰。

據悉，Google早在 2013 年就開始在內部研發專用於 AI 機器學習演算法的晶片，直到 2016 年這款自研的名叫 TPU 的晶片才被正式公開。在 2016 年 3 月打敗李世石和 2017 年 5 月打敗柯傑的 AlphaGo，就是使用Google的 TPU 系列晶片訓練而成。

如果說TPU更適合用作AI大模型訓練，不具體說明它的“本領”恐怕難以令眾人信服。

TPU如何適合大模型訓練？

首先，TPU具有多維度的計算單元提高計算效率。相較於 CPU 中的標量計算單元和 GPU 中的向量計算單元，TPU 使用二維乃至更高維度的計算單元完成計算任務，將摺積運算循環展開的方式實現最大限度的資料復用，降低資料傳輸成本，提升加速效率。

其次，TPU具有更省時的資料傳輸和高效率的控制單元。馮諾依曼架構帶來的儲存牆問題在深度學習任務當中尤為突出，而 TPU 採用更為激進的策略設計資料傳輸，且控制單元更小，給片上儲存器和運算單元留下了更大的空間。

最後，TPU具有設計面向 AI 的加速，強化 AI/ML 計算能力。定位精準，架構簡單，單執行緒控制，定製指令集，TPU 架構在深度學習運算方面效率極高，且易於擴展，更適合超大規模的 AI 訓練計算。

據悉，Google TPUv4 與輝達 A100 相比的功耗低 1.3-1.9 倍，在 Bert、ResNet等多類工作模型中，效率高於A100 1.2- 1.9 倍；同時其 TPUv5/TPU Trillium產品相比 TPUv4，能夠進一步提升 2 倍/接近 10 倍的計算性能。可以看到GoogleTPU產品相比輝達的產品在成本與功耗上存在更多優勢。

在今年5月的I / O 2024 開發者大會上，Alphabet首席執行官桑達爾·皮查伊（Sundar Pichai）宣佈了第六代資料中心 AI 晶片 Tensor 處理器單元（TPU）--Trillium，稱該產品的速度幾乎是上一代產品的五倍，並表示將於今年晚些時候推出交付。

Google表示，第六代Trillium晶片的計算性能比TPU v5e晶片提高4.7倍，能效比v5e高出67%。這款晶片旨在為從大模型中生成文字和其他內容的技術提供動力。Google還表示，第六代Trillium晶片將在今年年底可供其雲客戶使用。

Google的工程師通過增加高頻寬記憶體容量和整體頻寬實現了額外的性能提升。人工智慧模型需要大量的高級記憶體，而這一直是進一步提高性能的瓶頸。

值得注意的是，Google並不會以獨立產品的形態單獨出售自己的TPU 晶片，而是通過Google雲平台（ Google Cloud Platform，簡稱 GCP）向外部客戶提供基於 TPU 的算力服務。

在這一方案上也可窺見Google的聰明之處：直接銷售硬體涉及高昂的開銷和複雜的供應鏈管理。而通過雲服務提供TPU，Google可以簡化安裝、部署和管理過程，減少不確定性和額外開銷。這樣的模式也簡化了銷售流程，無需額外建立硬體銷售團隊。另外，Google正在與OpenAI就生成性AI進行激烈的競爭，如果Google開始銷售TPU，它將同時與兩個強大的對手競爭：輝達和OpenAI，這可能不是目前最明智的策略。

文章說到這裡，可能會有人發問：既然TPU具有如此出色的性能優勢，是否會在很快的未來取代GPU？

03 現在談取代GPU？或許為時尚早

這一問題也並沒有這麼簡單。

只說TPU的優勢，不講GPU的優勢，可謂是一葉障目。接下來我們還要瞭解一下相比TPU，GPU又是如何適用於當前的AI大模型訓練。

我們看到TPU的優勢在於出眾的能效比與單位成本算力指標，然而作為一種ASIC晶片，其試錯成本高的劣勢也較為明確。

此外，在生態系統的成熟度方面。GPU 經過多年的發展，擁有龐大且成熟的軟體和開發工具生態。眾多的開發者和研究機構長期基於 GPU 進行開發和最佳化，積累了豐富的庫、框架和演算法。而 TPU 的生態相對較新，可用的資源和工具可能不如 GPU 豐富，這對於開發者來說可能增加了適配和最佳化的難度。

在通用性方面。GPU 最初是為圖形渲染設計，但其架構具有較高的靈活性，能夠適應多種不同類型的計算任務，不僅僅侷限於深度學習。這使得 GPU 在面對多樣化的應用場景時具有更強的適應性。相比之下，TPU 是專為機器學習工作負載定製設計的，對於其他非機器學習相關的計算任務，可能無法像 GPU 那樣有效地處理。

最後，GPU 市場競爭激烈，各廠商不斷推動技術創新和產品更新，新的架構和性能提升較為頻繁。而 TPU 的發展主要由Google主導，其更新和演進的節奏可能相對較慢，

整體來說，輝達和Google在 AI 晶片上的策略各有側重：輝達通過提供強大的算力和廣泛的開發者支援，推動 AI 模型的性能極限；而Google則通過高效的分散式運算架構，提升大規模 AI 模型訓練的效率。這兩種不同的路徑選擇，使得它們在各自的應用領域中都展現出了獨特的優勢。

蘋果選擇GoogleTPU的原因可能在於以下幾點：首先，TPU在處理大規模分佈式訓練任務時表現出色，提供高效、低延遲的計算能力；其次，使用Google Cloud平台，蘋果可以降低硬體成本，靈活調整計算資源，最佳化AI開發的總體成本。此外，Google的AI開發生態系統還提供了豐富的工具和支援，使得蘋果能夠更高效地開發和部署其AI模型。

蘋果的實例證明了TPU在大模型訓練上的能力。但相比於輝達，TPU目前在大模型領域的應用依舊還是太少，背後更多的大模型公司，包括OpenAI、特斯拉、字節跳動等巨頭，主力AI資料中心依然是普遍採用輝達GPU。

因此，現在就下定義說Google的TPU可以打敗輝達的GPU或許為時尚早，不過TPU一定是一個具有極強挑戰力的選手。

04 GPU的挑戰者，不只TPU

中國也有押注TPU晶片的企業—中昊芯英。中昊芯英創始人楊龔軼凡曾在Google作為晶片研發核心人員，深度參與了GoogleTPU 2/3/4的設計與研發，在他看來，TPU是為AI大模型而生的優勢架構。

2023年，中昊芯英“剎那”晶片正式誕生。“剎那”晶片憑藉其獨特的1024片晶片高速片間互聯能力，建構了名為“泰則”的大規模智算叢集，其系統叢集性能遠超傳統GPU數十倍，為超千億參數AIGC大模型的訓練與推理提供了前所未有的算力保障。這一成就不僅彰顯了中昊芯英在AI算力技術領域的深厚積累，更為國產晶片在國際舞台上贏得了寶貴的一席之地。

然而，在如今人工智慧淘金熱，但輝達H100晶片供不應求、價格昂貴的背景下，大大小小的企業都在尋求替代輝達的AI晶片產品，其中包括走傳統GPU路線的公司，也包括探尋新型架構的企業。

GPU面臨的挑戰者，可遠不止TPU。

在GPU路徑研發中，輝達的勁敵莫過於AMD，今年一月有研究人員在Frontier超算叢集上，利用其中8%左右的GPU，訓練出一個GPT 3.5等級規模的大模型。而Frontier超算叢集是完全基於AMD硬體的，由37888個MI250X GPU和9472個Epyc 7A53 CPU組成，這次研究也突破了在AMD硬體上突破了先進分佈式訓練模型的難點，為AMD平台訓練大模型驗證了可行性。

同時，CUDA生態也在逐步擊破，今年7月英國公司Spectral Compute推出了可以為AMD GPU原生編譯CUDA原始碼的方案，大幅提高了AMD GPU對CUDA的相容效率。

英特爾的Gaudi 3 也在發佈時直接對標輝達H100。今年4月，英特爾就推出用於深度學習和大型生成式AI模型的Gaudi 3，英特爾稱，對比前代，Gaudi 3可提供四倍的浮點格式BF16 AI計算能力，記憶體頻寬提升1.5倍，服務於大規模系統擴展的網路頻寬提升兩倍。對比輝達的晶片H100，如果應用於7B和13B參數的Meta Llama2 模型以及175B參數的OpenAI GPT-3模型中，Gaudi 3預計可以讓這些模型的訓練時間平均縮短50%。

此外，應用於7B和70B參數的Llama以及180B參數的開源Falcon模型時，Gaudi 3的推理吞吐量預計將比H100平均高50%，推理功效平均高40%。而且，在較長的輸入和輸出序列上，Gaudi 3有更大的推理性能優勢。

應用於7B和70B參數的Llama以及180B參數的Falcon模型時，Gaudi 3的推理速度相比輝達H200提高30%。

英特爾稱，Gaudi 3將在今年第三季度向客戶供應，二季度向包括戴爾、HPE、聯想和Supermicro在內的 OEM 廠商提供，但並未公佈Gaudi 3的售價範圍。

去年11月，微軟在Ignite技術大會上發佈了首款自家研發的AI晶片Azure Maia 100，以及應用於雲端軟體服務的晶片Azure Cobalt。兩款晶片將由台積電代工，採用5nm製程技術。

據悉，輝達的高端產品一顆有時可賣到3萬到4萬美元，用於ChatGPT的晶片被認為大概就需要有1萬顆，這對AI公司是個龐大成本。有大量AI晶片需求的科技大廠極力尋求可替代的供應來源，微軟選擇自行研發，便是希望增強ChatGPT等生成式AI產品的性能，同時降低成本。

Cobalt是基於Arm架構的通用型晶片，具有128個核心，Maia 100是一款專為 Azure 雲服務和 AI 工作負載設計的 ASIC 晶片，用於雲端訓練和推理的，電晶體數量達到1050億個。這兩款晶片將匯入微軟Azure資料中心，支援OpenAI、Copilot等服務。

負責Azure晶片部門的副總裁Rani Borkar表示，微軟已開始用Bing和Office AI產品測試Maia 100晶片，微軟主要AI合作夥伴、ChatGPT開發商OpenAI，也在進行測試中。有市場評論認為，微軟 AI 晶片立項的時機很巧，正好在微軟、OpenAI 等公司培養的大型語言模型已經開始騰飛之際。

不過，微軟並不認為自己的 AI 晶片可以廣泛替代輝達的產品。有分析認為，微軟的這一努力如果成功的話，也有可能幫助它在未來與輝達的談判中更具優勢。

除了晶片巨頭外，也不乏來自初創公司的衝擊。比如Groq推出的LPU、Cerebras推出的Wafer Scale Engine 3、Etched推出的Sohu等等。

當下，輝達大約掌控著 80%的人工智慧資料中心晶片市場，而其餘 20%的大部分則由不同版本的Google TPU 把控。未來，TPU 所佔的市場份額會不會持續上揚？會增長幾何？是否會有其他架構的 AI 晶片將現有的市場格局一分為三？這些懸念預計在接下來的數年間將逐步揭曉。 (半導體產業縱橫)