這次專家調研主要圍繞矽光晶圓、光模組中EML和DSP等關鍵元器件的供需緊張情況，以及GoogleTPU v8在記憶體池化、CXL交換技術上的方案演進。還分析了Marvell、博通、聯發科等公司在晶片設計、交換晶片市場的競爭格局與成本結構。光模組部分內容可以重點看看。Q：當前矽光晶圓的產能擴充情況如何，未來是否會面臨供給不足的風險？A：矽光晶圓的供給是充足的，甚至在未來幾家主要供應商實現量產後，可能出現供過於求的局面。行業當前面臨的瓶頸並非矽光晶圓，而是 EML、DSP等其他元件。以行業龍頭 tower為例，其產能足以滿足市場需求。去年矽光模組出貨量約為四五千萬顆，而該龍頭供應商僅一家每月產能就達到一萬多片晶圓，每片晶圓可生產約 500個 800G模組或 1,000個 400G模組，其一家的年產能便可覆蓋去年的市場總需求。儘管今年矽光模組的需求預計將增長 50%以上，但該供應商的產能規劃也從每月一萬多片提升至三萬多片，足以應對增長。因此，短期內可能存在結構性緊張，但一旦擴產完成，整體將呈現供大於求的態勢。Q：除行業龍頭外，其他矽光晶圓供應商的擴產和量產進展如何，市場競爭格局是怎樣的？A：其他供應商如 GlobalFoundries、中芯國際以及蘇州的一家公司等也都在進行產能投資，但目前尚未形成有效的量產能力。當前市場中，有希望實現量產的主要是 ZXGJ和 GlobalFoundries，但它們仍被視為二線供應商，一線主力絕對是行業龍頭。GlobalFoundries則面臨價格過高的問題，其報價比龍頭供應商高出 50%以上，這可能是由於其尚未實現規模化量產導致成本較高。因此，行業內的普遍做法是，在 GlobalFoundries和龍頭供應商處進行晶片驗證，而將最終的量產訂單放在龍頭供應商處。Q：今年以來，EML和 DSP的價格上漲情況如何？A：EML和 DSP的價格均出現了上漲，具體的漲幅不詳，但市場反饋其漲價幅度大約在 百分之十幾到百分之三十之間。Q：當前 DSP晶片為何出現短缺？Marvell和 Broadcom等廠商是否來不及擴產？A：高端 DSP晶片的供應一直處於緊張狀態，這可能與供應商的行業策略有關，其供應模式傾向於 保持緊缺以維持定價權，而非追求大規模供給。DSP晶片的技術門檻很高，例如新版本已採用 3奈米工藝，而此前的 4奈米版本在研發過程中就曾遇到問題。晶片的選代升級過程複雜，每一版設計都需要與光模組進行匹配測試，期間可能會出現各種問題，因此需要經歷 Alpha、Beta等多個版本的選代才能最終穩定。Q：DSP晶片的價格上漲情況如何？與 EML等其他元器件相比，其漲價幅度和供應緊缺程度是怎樣的？A：目前整個光通訊行業都存在漲價現象。DSP晶片的供應緊張程度 僅次於 EML，尤其對於規模較小的公司而言，可能面臨無法採購到的困境。100G EML同樣存在短缺，但緊張程度和溢價幅度不及 200G EML，主要原因是當前市場的主流需求仍集中在 800G光模組。Q：目前市場上有多種記憶體池化方案，例如在單個機櫃內通過 CXL Switch連接 TPU和 DRAM，再通過 OCS連接多個機櫃；或是採用獨立的計算櫃、CXL Switch櫃和記憶體櫃，再進行互聯。可否詳細闡述當前主流的記憶體池化技術路徑及其適用場景？A：當前主要存在兩種記憶體池化方案。第一種是 近耦合的櫃內整合方案，即在一個機櫃內同時部署計算單元和儲存單元，通過 CXL Switch進行互聯。第二種是 遠端分離式機櫃系統，該方案設有獨立的 CXL儲存櫃，並與計算櫃之間形成 M:N的交叉互聯架構。在這種架構下，任意一個計算域的節點都可以訪問 N個記憶體櫃中的資料。遠端分離式方案主要適用於 超大規模的推理工廠場景，這類場景通常面臨多模型、多專家系統以及權重參數復用和更新頻繁的複雜需求。在遠端分離式方案中，除了計算域內的互聯，還需要儲存域的互聯。計算域與儲存域之間通過交換系統實現資料傳輸，並需要建立短時間內相對固定的點對點通訊鏈路，例如在特定時間段內固定從 M13號計算櫃到 N2號記憶體櫃的通路。實現這種類似“鐵路道岔”功能的動態光路切換，需要採用 OCS。該技術路徑符合Google現有的部分基礎設施平台，是其規劃的中遠期目標。然而，當前 AI推理業務仍處於爆發式增長的早期，許多模型結構和業務特點仍在持續最佳化中。因此，近耦合的櫃內整合方案因其明確的需求和易於實現的特性而更具現實意義。該方案只需一台 CXL交換機、特定數量的 Tray和 Memory Expander，通過銅纜即可完成互聯，對現有供應鏈改動小，部署相對簡單，能夠靈活地與現有系統對接。從項目落地的複雜性來看，首先實現櫃內整合，再逐步過渡到櫃外分離式架構，是一個水到渠成的演進路徑。本質上，將一個整合機櫃內的計算節點全部取代為儲存節點，即可構成一個獨立的儲存櫃。Q：Google TPU v8在記憶體池化方案上，更傾向於採用近端的櫃內整合還是遠端的跨櫃方案？其背後的驅動因素是什麼？A：從目前情況看，TPU v8大機率會首先採用近端的櫃內整合方案。這是一種能在短期內有效解決問題的策略。當前存算分離是行業趨勢，若能率先實現記憶體與計算的分離，將有助於降低 TPU v8的總體使用成本。具體而言，對於某些不需要 HBM的計算任務，可以利用成本更低的記憶體池化方案來完成，從而讓配備 HBM的 TPU v8專注於更核心、更高效的任務。這一決策的背後驅動因素在於 Google當前面臨的競爭壓力。TPU v8的半導體工藝相較於競爭對手（如台積電已於 2026年大規模量產的 3nm工藝）並無優勢。儘管Google有其 Gemini模型的內部需求，但 TPU v8的設計並未完全對齊外部客戶的核心訴求，呈現出“非通用但高度專用”的特點。因此，為了留住客戶，Google必須設法進一步降低成本。Q：隨著 AI推理並行量的增長，從櫃內記憶體池化向櫃外記憶體池化演進的必要性體現在那裡？A：隨著 AI推理業務的成熟，並行量預計將從當前水平快速增長至 百億甚至千億等級。在高並行場景下，對訪存的要求會變得極為複雜，資料傳輸量也面臨巨大挑戰。當並行度極高時，僅依靠單個機櫃內的儲存池來滿足數百萬、數千萬甚至上億的並行訪存請求是不現實的，會導致通訊連接埠擁塞。此外，未來的 AI系統可能會演變為更複雜的多專家、多模型系統，需要呼叫不同的模型來解決問題。這意味著需要儲存和訪問 海量的權重參數。為了支撐高並行訪問，系統必須能夠複製多份權重參數並部署在不同的儲存池中。因此，當並行度達到一定規模後，僅靠櫃內方案將無法滿足需求，必須採用櫃外耦合的、更大規模的記憶體池來提供支撐，這與傳統通用計算時代網路儲存因高並行業務而規模化的邏輯相似。Q：在當前階段，採用櫃內記憶體池化方案的具體硬體配置是怎樣的，例如一個機櫃內計算節點與記憶體節點的配比？A：目前櫃內記憶體池化方案尚處於相對早期的階段。根據瞭解，一個當前被探討的相對簡單的配置方案是 8對 8 的模式，即 8個計算節點對應 8個 Memory Expander進行擴展。按照這種配置，8個 Memory Expander理論上可以提供接近 十幾個TB 的記憶體容量。理論上，一個機櫃內若能配置十幾個 TB的記憶體容量，便可以容納 兆級參數 的模型。例如，通過 8個計算節點，可以實現對兆級參數空間的全通量訪問，每個節點根據其 Batch Size承擔相應的任務量。這種配置構成了一個任務規模的基數，可以在一個機櫃上承載，並通過複製這種機櫃單元來線性擴展總體的推理規模。這種方法的優勢在於其靈活性，可以根據需求隨時增減 FFN的數量配比。例如，可以調整至 12個，並根據實際情況進行平衡。若 Batch Size較大，可以通過降低儲存共享程度來最佳化任務處理。這種方案不設定固定的配置數字，以保持其適應性和可擴展性。Q：關於 CXL Memory Expander的技術細節，其工作原理、頻寬水平以及在系統中的連接方式是怎樣的？A：CXL Memory Expander可以理解為一個記憶體控製器或“帶隊者”，它管理多個記憶體條（例如 8個），並將它們的頻寬聚合。其頻寬高的原因是通道數多，例如管理 8個記憶體條即擁有 8個通道。這些 DDR儲存器經過特殊設計，頻寬聚合後通過內部的頁面管理機制，最終通過一個 16-lane的 CXL over PCIe鏈路 作為出口。以 PCIe Gen7為例，16條 lane理論上可實現 512GB/s 的單向傳輸速度，這一水平與 HBM2的頻寬相當，並且由於其只處理固定尺寸和格式的資料區塊，交換協議損失小，效率非常高。Q：在系統中，Memory Expander作為一個 CXL節點或端點，連接到 CXL交換機，再通過匯流排交換與計算單元(如 TPU)連接 CXL Memory Expander的單通道容量、總容量配置以及其對不同記憶體規格的相容性是怎樣的？A：CXL Memory Expander的容量配置可以從單通道 256GB 起步，8個通道即可組成 2TB 的總容量。目前市場上也已出現單通道 512GB規格的方案。該方案的一大優勢在於其靈活性和可擴展性：其 CXL介面（例如 16-lane PCIe Gen7）是固定的，而另一端連接記憶體條的介面則可以相容不同類型的 DIMM格式，如 RDIMM 或 MRDIMM。這意味著系統可以根據當前擁有的記憶體條類型進行配置，未來也可以平滑升級到更新、更高頻寬或更大容量的記憶體條，而無需改變核心介面。這種設計使得儲存容量和頻寬的增長是無縫的，系統不易受特定記憶體類型的限制。Q：CXL over PCIe Gen7的 16-lane鏈路頻寬是如何計算的，其與 HBM3相比性能如何，以及延遲方面存在那些差異？A：PCIe Gen7的規範是單 lane傳輸速率為 128GT/s。對於一個由 16條 lane組成的連接埠，經過換算後的理論單向頻寬為 512GB/s。這個頻寬水平接近 HBM3，雖然 HBM3的頻寬可以達到 900GB/s甚至 1TB/s。儘管 CXL方案在頻寬上略低，但其主要缺點在於 延遲，其延遲顯著高於 HBM。值得注意的是，在定製系統中，lane的數量可以進一步擴展，例如做到 32-lane，從而實現單向 1TB/s的頻寬，達到與 HBM3相當的水平。在推理過程中，FFN計算階段的特點是資料傳輸模式並非整塊的巨量資料傳輸，而是小批次、碎片化的資料交換。當一個 token進入 FFN計算階段時，其對應的計算向量空間大約為 128KB。FFN的計算過程可以理解為將一個大的權重網路拆分成許多小的區塊，每個區塊（例如一個專家權重的一部分）被載入到相應的計算晶片上。因此，每次計算實際需要傳輸的資料量可能僅為 數百MB。使用 512GB/s的頻寬來傳輸幾百 MB的資料，所需時間僅為毫秒甚至亞毫秒等級。因此，儘管 CXL的峰值頻寬低於 HBM，但對於這種小批次資料的傳輸需求而言，其頻寬是完全夠用的，並不會成為性能瓶頸。Q：在一個典型的 AI推理系統中，8個 TPU、CXL交換機以及 CXL Memory Expander是如何進行物理連接和協同工作的？A：整體架構如下：8個 TPU各自通過一條獨立的 CXL鏈路連接到一個中心的 CXL交換機。然後，該 CXL交換機再分出 8條鏈路，每一條鏈路連接到一個 CXL Memory Expander 節點。每個 Memory Expander節點內部再連接 8個 DDR記憶體條，負責管理這部分儲存空間的容量。通過這種方式，8個 TPU可以共享由 8個 Memory Expander節點及其所連接的記憶體條構成的龐大記憶體池，實現對海量模型參數的統一訪問。Q：請詳細說明一個 8x8架構中計算節點與記憶體的連接方式，以及其中被稱為“Merope"的新型 TPU的特性和技術淵源？A：在一個 8x8的架構中，8個計算節點與 8個 Memory Expander實現 全交叉訪問。這種設計是必要的，因為每個計算節點（一種小型的、用於 FNN計算的 TPU）在處理不同計算批次時，可能需要訪問權重空間內的任意部分，尤其是在多專家模型中，因此需要全交叉訪問技術以確保靈活性。這種小型 TPU的內部代號為 “Merope”，其角色類似於輝達 LPU，專職進行權重計算。它是一種簡化的、 無狀態 的計算單元，意味著每次計算都獨立於前一次的狀態，核心任務是執行高密度的矩陣乘加運算。其結構設計借鑑了 TPU v5，TPU v5作為訓練晶片，其前饋網路計算單元非常多。由於推理過程本質上是前向傳播，不涉及反向傳播，因此可以復用 TPU v5中的前向傳播計算結構。Merope移除了諸如 Attention機制和一些冗餘計算功能，專注於矩陣乘、矩陣轉置、維度變換及啟動函數等核心運算。其成本相對較低，可採用 FCBGA封裝，片上整合了約 200多兆的 SRAM 用於本地資料緩衝，能有效解決 FNN計算分離的問題。Q：在這種架構中，LPU僅依賴 SRAM，而 TPU/GPU則不同，請問 Merope這類計算單元是如何利用片上 SRAM和 CXL擴充記憶體的？A：任何 TPU或類 LPU單元的片上都整合了 SRAM。其核心區別在於，LPU主要依賴片上 SRAM進行運算，而 Merope這類單元則將 CXL擴充記憶體作為主儲存器，片上的 SRAM依然扮演計算快取的角色。這種結構相當於將原先本地化的 DDR或儲存拉遠，並通過 CXL技術實現共享。Q：在一個 8x8的配置中，CXL Switch位於何處，需要多少顆？同時，MXC晶片和 CXL Switch晶片的價值量分別是多少？A：CXL Switch位於 Tray內部。在一個 8x8的配置中，共有 16個節點（8個 TPU和 8個記憶體池）需要交換，每個節點或連接埠為 16條 Lane，因此理論上需要一個支援 256條 Lane 的交換機即可實現全接入。目前 Marvell已發佈的 PCIe Gen 6、256-Lane的交換機在功能上是可用的，但速度會比目標方案慢一倍，因為目標方案基於 PCIe Gen7。關於價值量，MXC晶片（如 Astera Labs的 Leo或 Marvell的產品）如果是 PCIe Gen7版本，單顆價格可能在 80美元 左右，而 PCIe Gen 6版本則約為五六十美元。對於一顆支援 PCIe Gen 7、CXL3.0甚至 4.0的 256-Lane交換晶片，目前市場公允價格大約在 2000美元。CXL交換機採用樹狀結構或背板形式部署，背板形式在布線空間上可能更合理。從結構上看，該樹狀結構可理解為有兩個主要分支，一個連接 8個計算節點，另一個連接 8個儲存節點，中間通過一個核心的交換節點（即 PCIe的 Root Complex功能）連接。理論上，一顆大型交換晶片足以滿足需求。不過，採用更細粒度的部署方式，例如通過級聯 4顆 較小的交換晶片也是可能的。這種方式可以擴展出更多的 Lane總數，但相鄰晶片之間用於內部互連的 Lane會被佔用，導致對外提供的有效 Lane數增量會隨晶片數量增加而遞減。此外，多顆晶片級聯可能會引入額外的傳輸延遲。因此，儘管級聯方案可以提升總量，但也存在效率和延遲方面的權衡。Q：針對一個 8x8的系統，如果採用單顆 256-Lane的 CXL交換晶片方案，其供應商有那些？不同供應商的產品在技術路徑上有何差異？A：目前能夠提供此類 CXL交換晶片的供應商主要有兩家：Astera Labs 和 Marvell。兩者的產品路徑存在差異。Astera Labs的 PCIe交換機本質上支援 CXL，是一款面向其主要客戶亞馬遜定製的全功能 PCIe交換機，其交換策略和功能較為複雜，導致其連接埠數不易做高。而 Marvell通過收購 XConn獲得了專門針對 CXL memory pooling等場景的技術，其交換機是 簡化版，僅支援 CXL.mem和 CXL.io等核心協議，並未完全支援整個 PCIe協議棧。這種簡化的設計提高了內部交換路由的效率，使其更容易實現更高的連接埠數量。由於 Google與亞馬遜存在競爭關係，且 Astera Labs不願為其開發簡化版產品，因此Google目前可能更傾向於與 Marvell合作，採購其 CXL交換晶片和 MXC晶片。Q：在一個典型的 CXL系統中，TPU、MXC和 CXL Switch的配置比例及對應的成本結構是怎樣的？A：在一個 Rank內部，一個相對合理的最低配置基數是 8個 TPU（或 LPU類晶片）對應 8個 MXC，再對應一個價值約 2000美元 的 CXL Switch。基於此比例，一個 TPU所增加的 CXL和 MXC部分的價值大約為 500美元。不過，考慮到交換效能或頻寬需求，實際部署中可能會增加 Switch的數量。Q：CXL Switch晶片計畫採用何種製程工藝，以及選擇該工藝和代工廠的考慮是什麼？A：CXL Switch晶片為了達到 PCIe Gen7的性能水平，需要採用先進的製程，起步即為 3nm等級。目前有消息稱，Google傾向於將此業務轉向 三星，可能採用其 2nm工藝（SF2）。SF2工藝在電晶體密度等方面與台積電的 N3E屬於同代水平。儘管三星的 2nm工藝目前在製造大晶片時良率稍差，但對於 CXL Switch這類尺寸較小的晶片，其基礎良率較高，經過最佳化後可以達到可用水平。選擇三星的主要原因是為了規避 台積電緊張的產能和高昂的價格。Google希望通過利用三星目前較低的產能利用率來獲得更具成本效益的解決方案，以避險台積電的價格上漲風險。Q：對於 Marvell和 MTK這類為Google提供晶片設計服務的公司，其 Turnkey項目的利潤分成模式是怎樣的？MTK從 TPU項目中獲得的單顆晶片價值大約是多少？A：在 Turnkey項目中，設計服務公司通常會從每顆晶片的銷售價格中抽取一定比例的 Royalty。一個比較合理的 Royalty比例在 **0.1%到 1%**之間，通常介於 0.5%到 3%的範疇。例如，對於一顆 1,800美元的晶片，1%的 Royalty即為 18美元。Google的項目中，晶片流片理論上由 Marvell負責，但項目所有權屬於Google，Google不會將帳戶直接交給設計服務公司。因此，Marvell負責 Chip Operation，並在總晶片價值中抽取一定比例的分成。關於 MTK的價值分成，其工作量較大，包含了 CoWoS的完整設計和封測，因此在 CoWoS部分的分成較高。雖然單顆晶片的價值肯定不止十幾或二十美元，達到上百美元是可能的，但遠沒有市場傳言的 500美元 那麼高。這一價格包含了 CoWoS、測試以及供應鏈管理等成本，但前提是項目必須成功交付，否則無法實現。此次合作對聯發科而言是一項帶有 對賭性質 的項目，其內部也因此承受著較大壓力。Google最初因聯發科在大型高性能計算晶片領域經驗不足而存有疑慮，是聯發科提出的低價方案促成了這次合作。Q：亞馬遜 Trainium 4的產品定位及其與 Trainium 3將形成怎樣的部署關係？A：Trainium 4是一款與輝達 Rubin平台在機架結構、交換協議等方面都非常相似的訓練型系統，定位為 Rubin的替代品，但也可用於推理。未來，亞馬遜將採用 Trainium 3和 Trainium 4 高低搭配的混合部署模式。亞馬遜正在推行一項策略，旨在減少其訓練資源對輝達裝置的依賴。目前已有客戶（如 Anthropic）使用 Trainium 3進行訓練和微調，因此 Trainium 4的推出對於進一步降低訓練成本、擴大訓練規模至關重要。Q：Astera Labs的 PCIe Gen6和Gen7交換晶片在亞馬遜產品線中的具體應用有何不同？A：兩款晶片的應用場景不同。320通道的 PCIe Gen6交換晶片專用於 Trainium 3系統。而通道數接近 500的 PCIe Gen7交換晶片則主要為 Trainium 4系統 服務，但並非用於其核心的 scale-up互聯。Trainium 4將採用 UA-Link交換機進行互聯，而這款 PCIe Gen7交換機將用於 CPU側的擴展，例如智能網路卡、智能儲存擴展、儲存池以及遠端 DPU池的介面擴展。它也適用於一種名為“Graviton only”的純 CPU機櫃，該機櫃用於專家路由等場景。Q：亞馬遜 Trainium 3系統內部的互聯拓撲結構是怎樣的？其 320通道交換晶片如何實現節點連接？A：Trainium 3的拓撲結構較為複雜多樣，但基礎是採用臨近節點和遠端立方體的連接方式。在一個 Trainium 3單元中，包含 4顆晶片，每顆晶片都能與其他 3顆實現直連。此外，每顆晶片還有兩個連接埠用於連接遠端的交換機。這種結構使得每個 Trainium單元都可以成為一個立方體網路中的節點，該節點擁有三個鄰居，並能連接到更高維度或其他平行的立方體網路。這款 320通道的交換晶片擁有 32個 lane，能夠在一個交換域內支援大約 8個計算節點，形成一個有效的交換域。Q：Trainium 3採用的 PCIe Gen6互聯方案，其頻寬性能如何？與輝達 NVLink相比是否存在差距？A：Trainium 3採用的是 PCIe Gen6，但其傳輸層協議為 neuron link，其負載能力比標準的 PCIe高出約 40%。通過 32條 lane的鏈路聚合，其單向有效頻寬可達 512GB/s（即 0.5TB/s），雙向頻寬為 1TB/s。儘管這一速度與 NVLink相比仍有差距，但對於 Trainium 3的定位而言已足夠。Trainium 3主要用於推理，而非訓練，因此很少進行 All-to-All通訊。其設計重點是保證局部計算域內的高頻寬，以滿足任務切分時的通訊需求。它並非直接與輝達的訓練系統進行對標的產品，只有 Trainium 4 才是嚴格對標輝達最新系統的型號。Q：請問320通道的PCle交換機單價大約是多少？除了亞馬遜之外，還有那些潛在客戶？A：目前一個 lane價格大約在 6到 7美元。除了亞馬遜，美國市場客戶不多，主要客戶在 中國。國內一些 AI晶片公司需要通過 PCIe交換機為資料中心叢集機型或訓推一體機、伺服器等產品實現縱向擴展，因此對這類交換機有採購意向。 (數之湧現)
