Google為其第八代 TPU 產品組合新增了兩款產品：TPU 8tx 和 TPU 8i Max。
Google將其描述為“TPU 系統”而不是晶片，該公司表示，這意味著它已經圍繞其 TPU 8t（用於訓練）和 TPU 8i（用於推理）重新配置了計算、網路、記憶體和封裝，這兩個產品於 2026 年 4 月首次發佈。
“隨著企業將自主代理投入生產，我們建立了這些基礎系統的兩種新配置，以解決兩個緊迫的新挑戰：硬體級資料安全和百萬級令牌上下文規模，”Google首席技術專家兼人工智慧和基礎設施高級副總裁 Amin Vahdat 在一篇詳細介紹新系統的部落格文章中寫道。
Google表示，TPU 8tx 採用與 TPU 8t 相同的矽晶片，並搭配定製的 AMD CPU 主機，針對“安全和保密推理”進行了最佳化，但也能支援小規模訓練工作負載，因此最適合受監管的企業和政府運行前沿或專有模型以及自主代理，同時處理敏感資料。
傳統上，加密資料在記憶體或通過網路傳送時必須在記憶體中解鎖才能進行處理，而 TPU 8tx“將安全性直接建構到硬體層中”，即使在積極使用時也能保護和隔離敏感資料和模型權重。
該系統還利用了Google的 Boardfly 網路，實現了即時推理，從而使 TPU 8tx 能夠“保持多步驟代理的運行”，該公司聲稱，與 TPU 8t 相比，它可以將延遲降低 2 倍，而性能損失幾乎為零。
最後，TPU 8tx 將允許組織在單個系統上同時運行和定製其模型，使團隊能夠使用其私有資料微調模型，將大型模型提煉成小型模型，並通過強化學習訓練其代理，所有這些都無需在不同的叢集之間遷移敏感資料。
與此同時，TPU 8i Max 的設計旨在解決被稱為“記憶體牆”的問題——即處理器速度和記憶體頻寬之間的差距。
Google表示，通過將兩個 TPU 8i 晶片整合到單個封裝中，TPU 8i Max“同步擴展了計算和記憶體”，其計算能力、SRAM 容量和 HBM 頻寬均是 TPU 8i 的兩倍，使處理器既能保持必要的資料容量，又能確保大型工作負載不會停滯。
此外，Google聲稱，由於 TPU 8i Max 在現有機架空間內可容納兩倍的矽片，因此資料中心每平方英呎和每瓦特可以部署更多的計算能力。
Vahdat 在他的部落格文章中表示，Google第八代 TPU 產品組合中的四款產品共同為客戶提供了“針對代理生命周期每個階段的專用加速器”。
“儘管我們的第八代 TPU 中的四個系統能夠靈活應對各種工作負載，但它們共同為客戶提供了針對智能體生命周期每個階段的專用加速器。TPU 8t 用於擴展訓練，TPU 8i 用於低延遲推理，TPU 8tx 用於機密計算，而 TPU 8i Max 用於大規模上下文窗口和每個機架最高的計算密度。”
他補充道：“隨著計算規模從人類轉向智能體，企業需要能夠跨越人工智慧模型龐大上下文窗口進行推理的加速器。此外，一些受嚴格監管的客戶還要求針對特殊工作負載提供專門的加密功能。”
“我們今天發佈的新型TPU系統正是為了應對這一新形勢。”
01. 專為智能代理時代而打造的TPU
十多年前，我們最初設計 TPU 的初衷是為了滿足Google內部的需求，例如語音識別和語言翻譯。經過八代 TPU 的發展，其應用場景已呈爆炸式增長，涵蓋以下方面：i) 訓練和運行我們自己的 Gemini 模型；ii) 代理工作負載；iii) 在我們的雲基礎設施上為 Google Cloud 客戶提供服務；以及最近新增的 iv) 允許客戶將 TPU 直接部署到他們自己的資料中心。如今，TPU 業務正迅速發展，擁有近百家客戶，其中包括前沿實驗室、交易公司、零售商、大學等等。
在四月份的 Google Cloud Next 大會上，我們推出了同一系列的兩款全新專用 TPU——8t 用於大規模訓練，8i 用於即時推理。與上一代 TPU 相比，TPU 8t 和 8i 的訓練性能分別提升了 2.7 倍，推理性價比提升了 80%。
今天，我們更進一步，為第八代 TPU 產品組合新增兩款系統：TPU 8i Max，可處理海量上下文窗口，並實現機架內最高的計算密度；TPU 8tx，則專注於安全保密的推理。這是我們首次在一年內推出四款 TPU 系統。
雖然我們一直以來都與 Google DeepMind 合作設計 TPU，但現在我們越來越多地收到來自外部機構的反饋，瞭解他們的具體需求。隨著計算規模從人類向智能體轉變，企業需要能夠跨越 AI 模型龐大上下文窗口進行推理的加速器。此外，一些受嚴格監管的客戶還要求針對特定工作負載提供專門的加密功能。
我們今天發佈的全新 TPU 系統正是為了應對這一新形勢。結合我們近期發佈的 PyTorch 相關內容，我們的目標是讓每位開發者和雲客戶都能更輕鬆地使用 TPU。通過將模組化定製晶片與開放易用的軟體棧相結合，我們能夠以人工智慧行業的速度交付全新的硬體和系統配置。
02. 圍繞晶片建構電腦
今天，我們將發佈兩款新的 TPU 系統——新晶片和新系統之間存在著重要的區別。
設計一款新晶片意味著要在矽晶圓上佈局數十億個微型電晶體，這需要耗時數年，並受到物理定律和複雜漫長的製造周期的限制。而系統則關乎如何將計算、網路和記憶體功能圍繞晶片整合在一起。這包括如何將它們與晶片封裝，以便快速滿足不斷變化的客戶需求和研究應用場景。
十多年前，當我們建構第一台TPU時，我們就意識到人工智慧軟體的發展速度將遠遠超過矽晶片製造的速度。因此，我們從根本上著眼於系統平衡和模組化，將TPU設計成人工智慧超級電腦的建構模組，以便工程師能夠快速地圍繞它們調整封裝、高速記憶體、光網路和安全措施。這種方法使我們能夠在數月而非數年內交付專用超級電腦。
03. 專注於安全、高上下文人工智慧
我們第八代TPU產品組合中的每個系統都針對人工智慧生命周期中的不同階段。
TPU 8t和TPU 8i奠定了這一代晶片的基準：
TPU 8t 被設計成一個強大的訓練平台，用於建構龐大的基礎模型，並實現最大的“有效輸出”（即每瓦能量所產生的有用智能）。
TPU 8i 是推理引擎，旨在突破記憶體瓶頸，將晶片間通訊延遲減少一半。
現在，隨著企業將自主代理投入生產，我們建立了這些基礎系統的兩種新配置，以解決兩個緊迫的新挑戰：硬體級資料安全和百萬級令牌上下文規模。
04. TPU 8tx
TPU 8tx 是我們第三代第八代系統，針對安全保密推理進行了最佳化，也非常適合小規模訓練。它專為受監管的企業和政府機構而設計，用於運行前沿或專有模型以及自主代理，同時處理其最敏感的資料。
通常情況下，資料在記憶體或通過網路傳輸時會被加密，但在電腦處理資料時，必須在記憶體中解鎖。TPU 8tx 與 TPU 8t 採用相同的晶片，並搭配第五代 AMD EPYC CPU 主機，將安全性直接建構在硬體層，即使在運行過程中也能保護和隔離敏感資料和模型權重。此外，TPU 8tx 採用了我們為即時推理開發的低延遲 Boardfly 網路，能夠確保多步驟智能體流暢運行，與 TPU 8t 相比，延遲最多可降低 2 倍，而性能損失幾乎為零。
將訓練級計算能力與快速推理網路相結合，意味著組織可以在單個系統上同時運行和定製模型。TPU 8tx 使團隊能夠使用私有資料微調模型、將大型模型精簡為小型模型，並通過強化學習訓練智能體，所有這些都無需在不同的叢集之間遷移敏感資料。
05. TPU 8i Max
我們的第四款系統 TPU 8i Max 是為瞭解決不同的問題而打造的：記憶體牆。
當數十個 AI 代理在整個軟體程式碼庫或數小時的視訊中協同工作時，記憶體頻寬很快就會成為瓶頸。因此，我們採用了兩顆低延遲的 TPU 8i 晶片，並將它們整合到單個封裝中。
TPU 8i Max 可同步擴展計算和記憶體容量，其計算能力、SRAM 和 HBM 頻寬均比 TPU 8i 提升一倍，從而確保處理器始終擁有充足的關鍵資料，避免大型工作負載出現卡頓。此外，由於 TPU 8i Max 在現有機架空間內可容納兩倍的晶片容量，資料中心可以顯著提升每平方英呎和每瓦的計算能力。
我們的第八代 TPU 包含四個系統，它們在各種工作負載下都能靈活應對，並為客戶提供針對智能體生命周期各個階段的專用加速器。TPU 8t 用於擴展訓練，TPU 8i 用於低延遲推理，TPU 8tx 用於機密計算，而 TPU 8i Max 則用於處理海量上下文窗口並實現最高的機架計算密度。
06. 向所有開發者開放 TPU
十多年前我們推出第一代 TPU 時，只有少數幾家公司運行的工作負載需要 TPU 的處理能力。這些應用場景都很特殊，因此工程師們會使用最佳化的框架和手工調優的程式碼。
隨著人工智慧技術的進步，多年來，越來越多的公司開始使用加速器。如今，人工智慧的普及程度已經達到TPU（線程處理單元）能夠完美適用於各種公司和應用場景的階段。因此，我們一直在系統性地努力消除TPU普及的障礙，力求使其像通用硬體一樣易於使用。
今天，這項投資主要集中在以下幾個關鍵領域：
向所有 PyTorch 開發者開放 TPU 開發，無需重寫程式碼：上個月，我們開源了TorchTPU，因此 PyTorch 程式碼和 Hugging Face 模型現在可以在 TPU 上原生運行，同時還支援 vLLM 和 SGLang 等主流開源推理引擎的開箱即用型 TPU 後端。為了簡化硬體最佳化，我們全新的開源TPU 代理套件（目前處於預覽階段）可直接整合到 Claude Code、Cursor 和 Google Antigravity 等編碼工具中，只需幾分鐘即可自動完成 TPU 部署、診斷瓶頸，並使用純文字語言自動調優自訂核心。對於生產環境部署，我們全新的開源XLA Serving Engine允許您使用 Python 訓練模型，並將其直接部署到 TPU、GPU 和 CPU 上的低延遲 C++ 執行階段環境中。
在 InferenceX 和 AgentX 基準測試中展現業界領先的生產性能：
在生產環境中，真正重要的是實際 AI 工作負載的測試結果，而非理論上的晶片峰值速度。在測試真實智能體編碼和長上下文工作的行業標準 InferenceX 和 AgentX基準測試中，我們基於 TPU 的原生 vLLM-TorchTPU 軟體棧實現了業界領先的性價比。最新的評估表明，這些優勢同樣適用於各種前沿開放模型和開源服務棧，同時保持了較高的模型精度。即將推出的針對同一硬體的軟體最佳化將進一步提升這些性能。
消除自主代理的閒置計算資源浪費：由於人工智慧代理是有狀態的，它們經常會暫停數秒甚至數小時，等待資料庫查詢、外部軟體工具響應或人工反饋。為了提高加速器在這些暫停期間的能效，我們全新的代理計算引擎軟體會在幾毫秒內自動暫停空閒的代理會話，並將工作記憶體轉移到晶片之外，從而降低維運基礎設施成本。
利用模形狀態層 (TPU Sync) 突破記憶體瓶頸：圍繞晶片建構電腦也意味著在軟體層面統一記憶體、記憶體和網路。隨著智能體在百萬級令牌上下文和持續強化學習 (RL) 循環中進行推理，記憶體很快就會成為瓶頸。我們開源了TPU Sync，它是 TPU 叢集的模形狀態層。TPU Sync 將晶片 HBM、主機 DRAM、共享記憶體和資料中心網路整合為一個單一的、協同設計的記憶體層次結構——在毫秒級時間內自動將海量鍵值快取分層部署到晶片外，在分散的預填充和解碼節點之間傳輸上下文，並同步強化學習權重，從而將鍵值傳輸延遲和首令牌時間 (TTFT) 降低 90% 以上。
通過單個控製器在 TPU 上擴展分佈式工作負載：Cloud Pathways現已在 Google Kubernetes Engine (GKE) 上正式發佈，它將 Gemini 背後的 Google DeepMind 執行階段帶給每一位 Google Cloud 客戶。借助單控製器架構和pathwaysutils，您可以像管理一台本地機器一樣，在多個 TPU 切片上編排大規模 TPU 系統，用於預訓練、強化學習和多主機推理。Cloud Pathways 通過託管的 Python sidecar、亞分鐘級切片熱插拔和彈性分片，確保長時間運行的作業在硬體中斷期間也能持續運行。
利用 GKE 動態切片按需拼接自訂 TPU 拓撲：GKE 動態切片現已正式發佈，它採用光路交換 (OCS) 技術，將物理硬體配置與邏輯切片形成解耦。通過動態地將 TPU 立方體組裝成更大的拓撲（超級切片）或將其劃分成更小、更獨立的工作負載（子切片），此更新徹底消除了僵化的手動節點池重建周期。這種拓撲靈活性可將作業啟動時間縮短至多 5 倍，並將故障恢復速度提高至多 4.5 倍，從而最大限度地提高所有 TPU 的整體叢集利用率和工作負載吞吐量。
07. 擁有十年經驗的共同設計
只有當矽架構師、網路工程師、編譯器團隊和GoogleDeepMind研究人員並肩工作時，一年內交付四個TPU系統和一個統一的開放軟體棧才有可能發生。
我們正越來越多地利用人工智慧來構思和建構下一代人工智慧基礎設施。從使用GoogleDeepMind的AlphaChip強化學習系統，到使用Gemini在數小時而非數周內完成晶片佈局，我們正在利用TPU驅動的人工智慧服務來快速加速下一代TPU硬體的開發。這才是真正的協同設計，也是Google獨有的優勢。 (半導體芯聞)