#TPU
摩根士丹利:博通將長期佔據GoogleTPU訂單80%份額
7月15日消息,晶片大廠博通(Broadcom)近來股價雖因聯發科搶食Google(Google)的張量處理器(TPU)訂單等因素影響,股價已較6月2日的歷史最高價(481.57美元)回撤19%。但摩根士丹利(Morgan Stanley)在最新報告中認為,博通長期將佔據GoogleTPU訂單的80%的份額,依舊是AI 浪潮下的“核心受益者”。 摩根士丹利分析師Joseph Moore發表研究報告指出,“我們認為,聯發科確實已參與GoogleTPU專案,但並不具顛覆性。長期而言,博通仍將維持TPU主要供應商地位,市佔率約80%。此前市場認為博通市佔率將降至50%,甚至最終遭取代的悲觀看法,仍然言之過早。” Joseph Moore表示,聯發科確實有機會取得GoogleTPU採用3nm製程的部分設計案,而Google也有意降低對博通的依賴。不過,他認為,這不太可能導致博通流失太多、甚至任何市佔率。 Joseph Moore指出,“我們認為,博通長期仍可維持約80%的TPU市佔率。部分供應鏈分析認為,博通市佔將快速流失,降至50%,甚至最終遭取代的悲觀看法,但我們並不認同。相反地,我們的看法跟聯發科提出的長期策略一致,也就是其市佔率將提升至15%~20%。換而言之,我們認為聯發科確實已參與GoogleTPU供應,但市場高估了博通市佔率流失的幅度與速度。”
Google第八代TPU詳解:聯手博通與聯發科挑戰輝達!
當地時間2026年4月22日,在拉斯維加斯舉行的Google Cloud Next '26大會上,Google正式發佈了第八代張量處理器(TPU)。這是Google史上首次將AI訓練與推理任務拆分至兩款獨立晶片——專為模型訓練設計的TPU 8t與專為推理最佳化的TPU 8i,標誌著其AI硬體戰略的重大轉向。與此同時,Google宣佈其第七代TPU Ironwood正式向雲客戶開放,並預告了與輝達的深度合作——將在2026年下半年成為首家提供NVIDIA Vera Rubin NVL72超級電腦的雲服務商。為何拆分訓練與推理?Google做出這一戰略調整的根本原因,是AI計算負載的日益分化。GoogleAI與基礎設施高級副總裁兼首席技術官Amin Vahdat在官方部落格中指出:“隨著AI智能體的興起,我們確定業界將受益於針對訓練和推理需求分別進行專門最佳化的晶片。”具體而言,訓練任務追求極致的吞吐量與規模擴展能力,需要晶片具備最高的計算密度和記憶體頻寬,以在數周甚至數月內處理兆級參數。而推理任務則對延遲和並行更為敏感——當數百萬個AI智能體同時執行階段,響應速度至關重要,而對峰值算力的要求相對較低。Amin Vahdat在大會現場明確表示:“這兩款晶片都是從頭開始專門為訓練和推理設計的,而非彼此衍生產品。它們的規格、能力、互聯方式都因各自需求而專門設計。Alphabet首席執行長桑達爾·皮查伊則強調,這一新架構旨在以低成本提供大規模吞吐量和低延遲,滿足數百萬個AI智能體同時運行的需求。TPU 8t:大規模預訓練旗艦晶片TPU 8t由Google和博通共同設計,是Google為超大規模AI模型訓練打造的旗艦晶片。單個超級計算節點最多可整合9,600塊TPU 8t晶片,配備2 PB高頻寬記憶體,每Pod計算性能達121 exaflops(FP4精度),較上一代Ironwood提升約3倍,同等價格下性能提升2.8倍。通過JAX與Pathways框架,可將分佈式訓練擴展至單一叢集超過100萬塊晶片。在架構設計上,TPU 8t採用雙計算芯粒加單I/O芯粒的架構,配備8組12層堆疊的HBM3e高頻寬記憶體。晶片搭載了SparseCore專用加速器,專門處理大語言模型尋找過程中常見的不規則記憶體訪問問題;同時支援原生FP4浮點精度,矩陣運算單元算力吞吐直接翻倍,海量資料搬運功耗大幅下降。為匹配海量資料吞吐需求,Google全新研發了Virgo互聯架構,訓練場景資料中心網路頻寬最高提升至前代4倍。該架構採用高基數交換機減少層級,扁平化兩層無阻塞拓撲結構,單套網路可互聯13.4萬顆TPU 8t晶片,無阻塞二分頻寬高達47Pbps,晶片間互聯頻寬較上一代提升2倍。在儲存訪問方面,TPU 8t通過TPU直連RDMA和TPU直連儲存兩項技術,繞過CPU實現TPU與網路卡、高速儲存之間的直接記憶體訪問,儲存訪問速度提升10倍。此外,晶片還擁有一整套可靠性、可用性與可維護性能力,包括即時遙測監控、自動檢測並繞過故障鏈路、以及無需人工干預自動重構硬體拓撲的光路電路交換技術。TPU 8i:高並行推理專屬平台TPU 8i首次由Google和聯發科合作設計,專注於AI推理場景,旨在消除“等待室效應”——即使用者請求被有意排隊或延遲以實現硬體利用率最大化的情況。單個Pod可擴展至1,152塊晶片,提供11.6 exaflops FP8計算性能,較Ironwood同等價格下性能提升80%,每瓦性能較上一代提升117%。TPU 8i最顯著的特徵是搭載了384MB片上SRAM快取,容量是上一代Ironwood的三倍。這一設計的核心價值在於可將更大的KV Cache保留在晶片上,大幅減少長上下文解碼時晶片核心的空閒等待時間,實現更快的文字生成速度和更低的延遲。晶片還引入了全新的集合通訊加速引擎(CAE),專門加速自回歸解碼與思維鏈推理所需的規約與同步運算,多核心結果聚合幾乎零延遲,片上集合通訊延遲較前代降低5倍。單顆TPU 8i內建兩顆張量核心和一顆片上CAE,替代前代Ironwood的四顆稀疏計算核心。TPU 8i最大的架構創新在於放棄了TPU傳統的3D環形拓撲結構,轉而採用全新的Boardfly層級互聯拓撲。在MoE(混合專家模型)與推理模型時代,任意晶片都需要隨時互通Token資料,跳轉次數直接決定性能。對於8×8×16規模(1024晶片)的3D環形網路,最遠晶片通訊需要16跳;而Boardfly拓撲在同等規模下僅需7跳,網路直徑縮減56%。Boardfly採用分層設計:4顆晶片環形互聯構成基礎單元,8塊板卡通過銅纜全互聯構成本地算力組,36個算力組通過光開關互聯構成最高1024顆晶片的叢集。在這種結構下,任意兩枚晶片之間的通訊最多隻需經過7次跳轉,全對全通訊延遲改善最高50%,這對混合專家模型和頻繁的跨晶片令牌路由極為有利。TPU 8i配備288GB HBM高頻寬記憶體,結合384MB片上SRAM,確保模型的活躍工作集能夠完全保留在晶片內部運行,從根本上解決“記憶體牆”問題。基於2nm製程,2027年底量產兩款第八代TPU晶片均搭載了Google自研的Arm架構Axion CPU作為主控,徹底解決資料預處理延遲導致的主機算力瓶頸。晶片採用台積電2nm製程工藝製造,目標在2027年底量產,並由公司第四代液冷技術支援散熱。在軟體生態方面,第八代TPU支援JAX、PyTorch、Keras及vLLM等主流框架,原生PyTorch支援現已進入預覽階段,使用者可直接遷移模型而無需修改程式碼。Anthropic已承諾採用GoogleTPU的採用率正在持續攀升。Anthropic已承諾採用數GW等級的TPU算力,2027年上線規模將擴展至3.5吉瓦,成為第八代TPU的錨定客戶。此外,Citadel Securities已利用TPU打造量化研究軟體,美國能源部旗下17個國家實驗室全面採用基於TPU的AI協同科學家系統。分析師普遍認為,Google通過將TPU一拆為二,是對AI訓練與推理需求加速分化的直接回應,有助於大幅提升特定場景下的單位算力性價比,從而降低雲客戶部署成本。 (芯智訊)
剛剛,Google發佈第8代TPU,算力怪獸、性能爆表!
目錄為訓練而生的 TPU 8t專注代理式 AI 及推理需求的 TPU 8i與 Gemini 共同設計、支援廣泛開發框架最大化能源效率Google Cloud 的 TPU 以往都是採用單晶片兼具訓練及推理功能的設計,不過在 Google Cloud 年度盛會 Google Cloud Next '26 上,宣佈推出兩款差異化的第 8 代 TPU 產品,攜手 Google DeepMind 開發針對訓練的 TPU 8t 以及針對推理的 TPU 8i。Google強調通過針對 AI 兩大核心任務不同的執行需求進行最佳化設計,進一步將性能發揮到極致。同時 Google 也強調兩款晶片都能運行各類 AI 負載,只是在各自擅長的領域表現更強。為訓練而生的 TPU 8t▲用於訓練的 TPU 8t Pod 晶片總量雖未翻倍,但晶片互聯及叢集互聯頻寬大幅提升、FP4 性能顯著增強。TPU 8t 旨在處理大規模、計算密集型訓練任務,提供更高的計算吞吐量與可擴展頻寬,滿足 AI 模型訓練需求,單晶片配備 216GB HBM。Google 表示,基於 TPU 8t 的 Pod 相較上一代產品性能提升 3 倍,可將模型開發周期從數月縮短至數周,並儘可能提升能源效率。TPU 8t 可擴展至 9600 顆晶片與 2PB 的 HBM 記憶體,晶片間頻寬相較上一代提升兩倍,可實現高達 121 ExaFlops 的算力,讓超大型模型能夠使用統一的超大記憶體池。此外,TPU 8t 還整合了速度提升 10 倍的儲存訪問,通過 TPUDirect 讓資料繞過 CPU 直接進入 TPU,進一步提升計算效率。借助 Google 全新 Virgo 網路以及 JAX、Pathways 軟體,TPU 8t 可在包含百萬顆晶片的叢集中實現近乎線性的性能擴展。同時,TPU 8t 通過 RAS 功能保障可靠性,包括對數萬顆晶片即時監測、自動檢測並在不中斷作業的情況下繞過故障 ICI 連接,以及 OCS 光路交換任務等自主維護機制,將硬體故障對叢集及訓練的影響降至最低,力爭實現超過 97% 的有效吞吐量。專注代理式 AI 及推理需求的 TPU 8i▲由 TPU 8i 構成的推理 POD 規模更大,無論記憶體容量、頻寬還是推理性能均大幅提升。TPU 8i 是面向 AI 推理與代理式 AI 服務開發的晶片,擁有更高記憶體頻寬與極低的推理延遲。通過解決記憶體傳輸瓶頸、搭配 Axion CPU 架構、針對 MoE 混合專家模型最佳化及降低延遲等四項關鍵技術,為新一代代理式 AI 及 AI 推理需求實現最佳化設計,綜合使每美元效能提升 80%,企業可用相同成本服務兩倍的使用者。TPU 8i 搭載 288GB HBM 記憶體與 384MB 片上 SRAM,解決記憶體傳輸瓶頸,容量相較上一代提升 3 倍,幾乎不會出現等待記憶體傳輸的閒置情況。同時,TPU 8i 伺服器物理 CPU 數量相較上一代增加一倍,採用基於 Arm 指令集的 Google 定製 Axion 架構,通過非均勻記憶體架構(NUMA)隔離,進一步擴展性能。MoE 混合專家模型是代理式 AI 的發展趨勢,由多個小型專家模型組成,僅在需要時載入相關模型,執行混合任務時無需在多個模型間切換。Google 將 TPU 8i 的晶片互聯頻寬提升至 19.2TB/s,相較上一代翻倍,確保多顆 TPU 8i 組成的系統具備統一、低延遲特性,媲美大型單晶片。此外,通過片上 CAE(集體加速引擎)解除安裝全域操作,可將晶片延遲降低 5 倍,大幅縮短響應時間。與 Gemini 共同設計、支援廣泛開發框架▲無論是 TPU 8t 還是 TPU 8i,均可運行所有 AI 任務,架構則分別針對訓練與推理場景最佳化。兩款第 8 代 TPU 晶片均與 Gemini 協同設計,其中 Boardfly 拓撲結構為滿足當前最強推理模型的通訊需求而設計,TPU 8i 的 SRAM 容量則依據量產級推理模型的 KV 快取佔用空間確定,Virgo 網路架構的頻寬目標則根據兆參數訓練的平行性需求制定。同時,TPU 8t 與 TPU 8i 均搭配 Google 定製 Axion CPU 系統運行,實現系統級最佳化。兩款平台均原生支援 AX、MaxText、PyTorch、SGLang、vLLM 等常用框架,支援客戶無需虛擬化直接訪問硬體,同時開源了 MaxText 參考實現與用於強化學習的 Tunix 等相關資料。最大化能源效率:第4代液冷▲Google 強調從 CPU、TPU 到系統設計全程自主把控,實現能源效率最大化,圖為 TPU 8 系列採用的第 4 代液冷架構。面對 AI 資料中心因海量算力需求帶來的能源緊張問題,Google 表示,TPU 8t 與 TPU 8i 相較代號 Ironwood 的第 7 代 TPU,能源效率提升兩倍,最佳化覆蓋整體架構設計、整合可即時動態調節功耗的電源管理等方面。同時從晶片到資料中心實現全系統級能效最佳化,例如將網路連線與計算整合在同一晶片,降低 TPU 晶片資料傳輸能耗,並圍繞 TPU 協同設計資料中心架構,最終相較五年前每單位電力算力提升 6 倍。TPU 8t 與 TPU 8i 採用 Google 第 4 代液冷散熱架構,實現傳統風冷難以企及的高性能密度。加上從 CPU、TPU 到整機系統的全鏈路自主設計,達成傳統分體式主機與晶片方案無法實現的高效能表現。 (芯榜+)