輝達Rubin Ultra專家調研紀要

AI速讀
NVIDIA 規劃於 2027 年推出 Rubin Ultra 架構,產品線涵蓋 NVL72 及可擴展至 576 GPU 的 NVL576 版本。NVL576 將提供 CPO 與 NPO 兩種光互聯選項以實現 8 櫃直連,而 OCS 方案則推遲至 2028 年。硬體設計上,NVIDIA 將 Switch Tray 由 0.75RU 整合為 1.5RU 雙板合一結構,藉由共享管理 CPU 與記憶體降低成本。其中,NPO 方案強調模組化可維護性,CPO 則採用外接雷射源 (ELS) 設計。此外,原計畫的 Kyber 144 卡方案因技術挑戰已被移除路標。

請問NVIDIA在新的架構方案中,例如CPO加OCS的方案,目前的進展和規劃是怎樣的?

OCS方案目前尚不明朗,NVIDIA還未將其真正產品化。雖然有個別保密項目正在進行相關探討,但基本可以確定最早也要到2028年才可能落地。此前的產品路標並未正式規劃OCS產品線。從2026年年初開始,有兩個項目在探討如何試用OCS,這涉及到OCS連接埠數的定製問題,但這些都處於非常早期的階段,尚未在產品路標上明確OCS的定製方案及其搭配的架構。

關於明年(2027年)推出的Rubin Ultra產品,其多櫃互聯方案的具體配置是怎樣的?是否會採用OCS技術?

2027年推出的Rubin Ultra入門級產品將提供CPO和NPO兩種多櫃互聯的配置選項。目前已基本確定的、能夠在2027年量產的版本是一種all-to-all的連接方案,就是直連。基於OCS的擴展方案是更下一步的規劃。因此,2027年推出的NVL576將基於8櫃互聯的DOC連接方法,不會採用OCS方案進行量產。

基於NVIDIA官方公佈的路線圖,2027年下半年推出的Rubin Ultra架構的具體產品形態是怎樣的?相較於之前的規劃有何變化?

根據官方路線圖,繼2026年的NVL8(8卡單節點)和NVL72(單機櫃)之後,2027年將推出升級版的Rubin Ultra。屆時,產品線將包括NVL72以及一個基於NVL72的可擴展版本,即通過8個Rubin Ultra機櫃互聯組成的576卡(NVL576)。該NVL576的互聯方案將同時提供CPO和NPO兩種配置選項。

值得注意的是,原計畫中一個代號為"Kyber"的144卡方案已被從2027年的路標中移除。該方案原計畫採用正交中板全銅互聯技術,以實現雙倍的計算密度,但由於技術挑戰過大,評估後認為無法在2027年實現量產。該方案並未被完全放棄,可能會推遲至2028年再評估落地的可能性。

請詳細介紹一下2027年Rubin Ultra機櫃內部的物理結構,以及NVL72和NVL576版本在硬體上的主要區別?

Rubin Ultra伺服器機櫃整體外觀與此前GB200、GB300以及當前量產爬坡的VeraRubin NVL72較為接近,但內部結構有所調整。上一代機櫃採用"10+9+8"的佈局,而Rubin Ultra調整為更加對稱的"9+9+9"結構,上下兩側計算模塊數量完全一致,中間區域則配置NV Link Switch Tray(NVLink交換托盤)。

這一代機櫃在NV Link Switch Tray設計上有一個比較重要的變化。此前方案中,中間區域規劃配置18個獨立的Switch Tray,每個Tray對應一層交換板卡;最新方案則將兩層交換板卡合併到同一個Switch Tray中,因此Switch Tray數量由18個減少為9個,但單個Tray的厚度增加至約1.5RU(RackUnit)。

這樣調整的主要目的之一是統一機櫃形態,同時降低部分管理單元的成本。此前每個獨立SwitchTray都需要配置一顆低端管理CPU以及相應的DDR5等記憶體,用於交換系統管理。將兩層交換板卡放入同一個Tray後,兩塊板卡可以共享一套CPU和記憶體管理單元,從而減少重複配置。在當前CPU及記憶體價格較高的背景下,這種設計可以對整體BOM成本進行一定最佳化。

從機櫃形態來看,Rubin Ultra大體可以對應兩種NVLink配置。第一種為NVL72版本,采用不可擴展型(Non-extendable)NV Link Switch Tray,主要服務於單櫃NVLink域。第二種則面向NVL576,需(Scalable)NV Link Switch Tray,並增加Optical NV Link Interface,即基於光的NV Link介面,通過大量光纖連接器實現跨櫃互聯。

為了支持NVL576的兩級擴展,可擴展型NV Link Switch Tray內部的交換芯片數量較NVL72版本明顯增加,約為兩倍。原因在於NVL576除了需要保留本櫃內部連接連接埠之外,還必須增加大量上聯連接埠用於跨櫃互聯,因此需要更多NVLinkSwitchASIC以及更高的連接埠密度。

具體來看,中間的NV Link Switch Tray一共可以分為三種形態:第一種為NVL72使用的不可擴展版本;另外兩種則用於NVL576,分別採用NPO(Near-PackagedOptics,近封裝光學)和CPO(Co-PackagedOptics,共封裝光學)方案。三種Tray的整體尺寸和外部介面形態基本統一,主要區別集中在內部交換ASIC數量及光學實現方式。

NPO版本內部配置是怎樣的?有什麼優勢?

NPO版本內部包含4顆NV Link Switch ASIC,每顆交換晶片配置4個NPO模組,因此單個Switch Tray合計約16個NPO模組,每個模組對應約3.2Tbps的光學頻寬。NPO方案的一項重要優勢是具備較好的現場可維護性。NV Link Switch ASIC本身硬體可靠性通常較高,而光學器件出現故障的機率相對更高。如果某個NPO模組發生故障,可以將對應故障NPO模組單獨拔出更換,而不需要更換整塊交換板或交換ASIC。更換完成後重新連接光纖、恢復導熱材料並安裝冷板即可。

由於單個Switch Tray內部約有16個NPO模組,整體功耗可達到300W以上,因此NPO部分需要配置獨立液冷散熱。NV Link Switch ASIC本身擁有單獨的冷板,而NPO模組區域上方還覆蓋一塊較大的液冷冷板,通過冷水入口和熱水出口對NPO模組進行集中散熱。這意味著在Rubin Ultra NVL576中,光學模組本身已經成為Switch Tray熱設計中的重要組成部分。

CPO版本內部配置是怎樣的?CPO和NPO之間有什麼區別?

CPO版本同樣采用4顆NV Link Switch ASIC。每顆交換芯片周圍配置4個3.2T Optical Engine(光引擎),即單個Switch Tray合計約16個3.2T光引擎。光引擎的光纖從晶片附近直接引出,再經過內部光纖扇出及連接結構,最終從Switch Tray面板連接出去,用於跨櫃光互聯。

CPO和NPO之間一個比較明顯的區別在於光源設計。CPO版本配置獨立的ELS(External Laser Source,外接雷射源),ELS位於Switch Tray前面板,可以在系統維護過程中從外部直接拆卸和替換。外接雷射源發出的光通過PMFiber(Polarization-MaintainingFiber,保偏光纖)傳輸至不同的光引擎,經過光引擎調製後,再通過單模光纖輸出資料訊號。

因此,從SwitchTray外觀來看,CPO和NPO版本整體尺寸以及主要連接器佈局基本一致,但CPO版本前面板會額外設定一個可打開的ELS維護蓋板,方便直接更換外接雷射源;NPO版本則不需要這一獨立的前面板外接光源結構。

Rubin Ultra單櫃的高度和之前相比有變化嗎?

此前方案中,單個Switch Tray厚度約為0.75RU;最新方案將兩個0.75RU的Tray合併成一個1.5RU的Tray,相當於單個Tray厚度增加一倍。因此,從物理盒子的數量來看,中間的NV Link Switch Tray由原來的18個減少至9個,但每個1.5RUTray內部實際上容納了原來兩層交換板卡。

SwitchTray從18個變成9個之後,內部NV Link Switch ASIC的數量是否發生變化?

沒有變化。這個調整主要是機械結構和機箱形態上的整合,核心交換板卡和交換晶片的數量並沒有減少。可以理解為原來兩塊板分別裝在兩個0.75RU的盒子裡,現在只是把盒子加厚,將兩塊板同時裝進一個1.5RU的Tray中。因此,主要的交換功能和核心硬體配置基本不受影響。真正發生變化的是管理模組。原來兩個獨立Tray分別需要配置一套管理CPU和記憶體;合併之後,兩層交換板可以共用一套管理單元,從而減少管理CPU和記憶體的數量。

採用1.5RU雙板合一設計後,CPU和記憶體具體能減少多少?

目前沒有非常明確的量化資料。NV Link Switch Tray內部使用的管理CPU本身屬於比較低端的處理器,因為核心資料交換工作主要由NVLinkSwitchASIC完成,CPU只承擔系統節點管理等輔助功能。內部配置的SSD、記憶體等規格也並不高,例如SSD容量可能在2TB左右。因此,這次設計調整並不會對整個機櫃BOM產生非常大的影響,更像是在目前CPU、DDR5等元件成本較高的背景下,對局部成本進行最佳化。兩塊交換板共享一套管理CPU和記憶體,可以減少部分CPU和DDR5的消耗。

除了管理CPU和記憶體之外,PCB是否也會發生變化?

基本沒有變化。交換板本身的尺寸和主要設計保持不變,PCB該多大仍然是多大。主要變化集中在上層管理模組:原來兩塊板分別配置一套管理模組,現在兩塊板可以共用一套管理模組。因此,這次調整更多是機箱和管理架構層面的整合,並不涉及核心交換PCB和NV Link Switch ASIC配置的重新設計。

NVL576的8個NVL72機櫃最終是如何連接起來的?

NVL576本質上由8個NVL72機櫃,即8×72GPU=576GPU組成。機櫃之間通過單模光纖進行NV Link Scale-up互聯,形成一個更大的NV Link計算域。目前看到的部分架構圖還是舊版本,因此圖中可能仍然畫有18個Switch Tray;最新方案只是把原來的兩個0.75RUTray合併成一個1.5RUTray,底層交換連接關係本身並沒有因為Tray機械結構變化而發生本質改變。八個NVL72機櫃編號可以理解為0-7,總計8櫃,通過可擴展型NV Link Switch Tray之間的光纖連接實現跨櫃互聯。

NVL576是否需要額外增加第二層獨立交換機?

按照目前明年量產版本的方案,不需要額外部署一層獨立的外部交換機。NVL576採用的是一種基於光互聯的直接Scale-up連接方式,通過各NVL72機櫃內部的可擴展NVLinkSwitch及光學上聯連接埠,將8個機櫃直接組成576GPU的NVLink域。因此,至少在明年的首批次產架構中,NVL576主要依賴switch,而不是額外增加一層獨立的外部NVLink交換裝置。

未來是否會進一步引入OCS?

有可能,但屬於更長期的演進方向。當前NVL576量產方案主要解決8×NVL72,即576GPU規模的Scale-up互聯。後續如果引入OCS,則有機會進一步擴大整個光互聯平面的規模,將更多機櫃連接到同一個更大的網路中。從長期來看,OCS可能支援規模達到16KGPU左右的超大計算域。不過這一方案距離實際量產仍然較遠,不屬於明年Rubin Ultra首批次產的主要配置。(紀要邏輯社)