2026年7月下旬，輝達向《Tom's Hardware》等十幾名記者，開放了總部附近一處此前未公開的“工程超級實驗室”（Engineering SuperLab）。即將於2026年下半年交付的維拉·魯賓（Vera Rubin）NVL72機櫃，沒有擺在展台上當拆解樣品，而是在真實資料中心環境裡跑著生產級負載。 輝達現場透露，實驗室內運行的機櫃，正在處理OpenAI的部分任務。前端面板顯示，一些計算托盤正在跑OpenAI的GPT‑Rosalind模型。這是維拉·魯賓頭一回以“活系統”形態出現在媒體鏡頭前——不是PPT，也不是事先錄好的短片。 《Tom's Hardware》在7月21日發佈了這次獨家探訪的報導。記者描述，實驗室噪聲約80到90分貝，進場須戴護耳裝備。輝達工程師的走動方式透露出另一層資訊：這地方的首要目的是方便快速部署和更換機櫃，看起來不像那種窗明幾淨的正式資料中心。 這處超級實驗室，是輝達過去兩年在總部附近悄悄建起的四個不對外公開站點之一。

據SemiAnalysis等管道報導，輝達Kyber NVL144機架架構遭遇重大延誤，發佈時間可能從原規劃推遲超過12個月至2028年。 延誤原因並非單顆GPU性能不足，而是面向NVL144的PCB中平面在製造可行性、良率和系統整合上仍存在挑戰。 面向更大規模NVLink域的NVL576也可能因CPO和NVSwitch互連問題推遲或僅小批次推出。 輝達新一代Kyber機架平台據報導推遲至2028年，原定的過渡替代方案同步取消，圖為黃仁勳在GTC大會展示的液冷版Kyber機架。資料來源：SemiAnalysis、輝達GTC大會

今日（3日）美國矽光初創企業Lightmatter宣佈接入輝達NVLink Fusion生態。通過此次合作，Lightmatter將提供與NVIDIA光技術和SerDes技術相容的共封裝光學器件(CPO)和近封裝光學器件(NPO)產品。 創始人兼首席執行長Nick Harris透露，公司技術佈局覆蓋NPO、CPO以及光子中介層三大方向，本次在台灣發佈的Passage L20通用光學引擎，計畫2027年一季度實現量產，產品可適配NPO、CPO、XPO各類硬體架構。 談及和輝達的合作，Harris稱，接入輝達NVLink Fusion生態後，企業能夠把自研Passage CPO解決方案和輝達NVLinkF usion架構融合，協力迭代多代AI大模型技術。在產品迭代規劃上，Harris介紹，Lightmatter計畫2027年落地NPO量產產品，2028年量產CPO產品，2029年及以後深耕光子中介層與光學引擎研發量產。 通過加入 NVLink Fusion 生態系統，Lightmatter 將通過其業界領先的光子互連路線圖（包括 Passage® CPO 和 NPO）為共同客戶提供最大的頻寬和效率。

大樹底下好乘涼啊隨著輝達年度科技盛宴 GTC2026 開幕在即，算力市場迎來了一場意料之外的“強強聯手”。英特爾官方推特宣佈，公司本次將以核心戰略夥伴的身份高調亮相 GTC。這則消息是雙方此前簽署 50 億美元深度合作協議後的首次公開“合體”，標誌著在 AI 智能體（Agentic AI）橫行的今天，CPU 正在從 GPU 的“輔助者”回歸為不可或缺的“核心支柱”。行業觀察人士指出，當前 AI 研發的重點正從單純的大模型訓練轉向更為複雜的智能體任務。這類任務涉及海量的邏輯判定和系統調度，導致原本被忽視的 CPU 性能成了資料中心的新瓶頸。面對這一難題，Meta、OpenAI 等超大規模雲廠商近期紛紛調整策略，開始與輝達溝通強化機櫃中的 CPU 配置。英特爾的適時切入，正是為了通過其第 6 代至強處理器（如 Sierra Forest 和 Granite Rapids 系列），配合輝達的“NVLink Fusion”技術，徹底打通 CPU 與 GPU 之間的通訊壁壘。在此次 GTC 大會上，英特爾預計將詳細展示其至強處理器如何深度整合至輝達的 AI 機櫃架構中。通過這種深層融合，AI 叢集在處理高並行、強邏輯的智能體指令時，能夠顯著降低延遲，避免 GPU 算力因等待 CPU 調度而造成的閒置。此外，雙方還在緊鑼密鼓地研發麵向消費市場的 X86 筆記本 SoC，試圖將 RTX 顯示卡晶片組直接封裝進英特爾處理器中。儘管該產品預計不會在偏向企業級的 GTC 上露面，但這無疑為未來 AI PC 的形態留下了巨大的想像空間。值的注意的是，輝達早已佈局 CPU，其 Grace CPU已經出現在了Grace Hopper 和 Grace Blackwell 複合體，但是不同的是，Grace 是ARM架構，是輝達完全閉源、自產自銷的自主高利潤產品。而與英特爾合作進軍 X86，則看起來像是確保輝達通向通用人工智慧路上的一個護航。有說法認為，輝達通過拉攏英特爾，實際上是拆散了“x86 陣營”。當英特爾的至強原生支援輝達的 NVLink Fusion 時，客戶在組建 x86 伺服器時，首選的 GPU 就不再是 AMD 的 Instinct，而是輝達。這招啊，老黃用英特爾的手，扇了 AMD 的臉。輝達 GTC 2026 將於 3 月 16 日正式揭幕，屆時 CEO 黃仁勳將親自揭曉這場 AI 算力競賽的下一章。 (AMP實驗室)

IN-DIA處理器要來了英特爾 CEO 陳立武昨日在 Q4 財報電話會議中證實，英特爾正與輝達合作開發一款面向企業級和資料中心應用、深度整合 NVLink 技術的至強（Xeon）處理器，目標直指新一代 AI 主機節點。我們正在持續與輝達緊密合作，打造一款完全整合其 NVLink 技術的定製 Xeon 處理器，以為 AI 主機節點帶來業界領先的 x86 性能。除此之外，陳立武還提到了至強產品線的其他進展，稱該部門正高度聚焦於推動 16 通道的“Diamond Rapids” Xeon 處理器加快上市處理程序。不過，目前我們尚無法判斷這款與輝達聯合開發的定製 Xeon 處理器將基於第六代還是第七代 Xeon 技術。定位更靠後的“Coral Rapids” Xeon 系列，預計將為資料中心工作負載重新引入超線程（Hyper-Threading）技術。陳立武同時還提到，加快“Coral Rapids”系列至強處理器的上市進度，也是公司目前的另一項重要目標。時間回溯至去年 9 月中旬，英特爾與輝達宣佈達成合作。雙方暗示未來將在英特爾 x86 處理器中引入採用輝達 GeForce GPU 的核顯。不過，自去年秋季以來，該面向主流市場的項目鮮有進一步披露。與此同時，英特爾則集中資源推進下一代“Panther Lake-H”移動處理器，而該系列將採用英特爾自研的 Arc Xe3圖形架構。此前報導，輝達和英特爾的合作主要在產品層面展開，在資料中心領域由英特爾向輝達供應內建 NVLink IP 的定製 CPU，而在消費級領域則是輝達向英特爾供應 GPU 芯粒。(AMP實驗室)

對於當前炙手可熱的輝達，大家公認有兩條護城河，分別是CUDA和NVLink，但從最近一個季度的業績看來，如果沒有當年70億美元的收購，也許後續就不會有市值4兆的晶片巨頭。在今年二季度的財報發佈之後，整個注意力主要集中在這家晶片製造商的收入能否繼續證明其市值飛速增長的合理性。但其實在各種頭條新聞的背後，有一個業務類股卻格外引人注目，那就是網路業務。在分析人士看來，這將成為推動該公司轉型為市值4兆美元巨頭的低調引擎。相關資料顯示，這項標記為“網路”的業務對輝達整體收入的貢獻可能遠高於16.1%。收入環比飆升46%，同比幾乎翻了一番，僅第二季度就達到了72.5億美元。換句話說，僅在上個季度，通過收購Mellanox而建立的研發中心為輝達創造的收入就超過了收購成本。這使得該部門的年營運額達到250億至300億美元，對於曾經被視為輝達旗艦圖形處理器配角的部門來說，這是一個非同尋常的數字。達成這個成績背後，當年他們耗資69億美元收購的Mellanox功不可沒。01 輝達成功的幕後英雄過去幾年，談到挑戰輝達，除了從計算上面入手以後，軟體和網路是經常被提到兩個方面。例如近年來的UAlink，就是為了攻破輝達壁壘而組建的一個組織聯盟。背後的原因就是單晶片或單機架難以滿足劇增的AI算力需求，Scale Up和Scale Out迫不及待。輝達表示，受能源供應和晶片密度等物理限制的制約，如今的資料中心已經接近單一設施所能提供的極限。新平台 Spectrum-XGS 解決了諸如長延遲等障礙，這些問題迄今為止一直阻礙著獨立的設施作為統一的系統運行。輝達首席執行官黃仁勳在此前的財報電話會議上也強調：“我們擁有Spectrum-XGS，它擁有千兆級規模，可以將多個資料中心、多個AI工廠連接成一個超級工廠，一個龐大的系統。這正是輝達在網路領域投入如此多精力的原因。正如我們之前提到的，Spectrum-X現在已經是一個相當可觀的業務，而且它成立只有大約1.5年。因此，Spectrum-X是一個本壘打。”更早之前，輝達收購Mellanox而加碼打造的以色列分公司的一項技術突破將使地理位置相距遙遠的資料中心能夠像在一個地方一樣運行，從而有效地大規模建立“人工智慧工廠”，並顯著提高該行業可用的最大計算能力。該公司在一份新聞稿中表示：“憑藉先進的自動調整距離擁塞控制、精確的延遲管理和端到端遙測技術，Spectrum-XGS 乙太網路幾乎使 NVIDIA 集體通訊庫 (CCL) 的性能提高了一倍，加速了多 GPU 和多節點通訊，從而在地理分佈的 AI 叢集中提供可預測的性能。因此，多個資料中心可以像一個 AI 超級工廠一樣運行，並針對長距離連接進行了全面最佳化。”正如黃仁勳所說：“這正是輝達5.5年前收購Mellanox的原因。”Mellanox 由Eyal Waldman成立於 1999 年，是 InfiniBand 互連技術的先驅。在被輝達收購的時候，該技術及其高速乙太網路產品目前已應用於全球超過一半最快的超級電腦以及許多領先的超大規模資料中心。Mellanox 於 2007 年上市，並於 2018 年首次突破 10 億美元年銷售額。2018 年，該公司的 GAAP 淨收入為 1.343 億美元，也創下了歷史新高，在收購發生之前的13 年中，該有 10 年實現盈利，同時自 2005 年以來一直保持自由現金流為正。在Mellanox 和 NVIDIA之間，也有著悠久的合作與聯合創新歷史。NVIDIA 也早於 2016 年在以色列開設了一家設計中心，並於 2018 年開設了一家人工智慧研究中心。該公司此前承諾“將繼續投資以色列的本地卓越人才，以色列是全球最重要的技術中心之一”。Eyal Waldman此前在一個播客中表示：“我相信，處理器（大腦）與網路連線之間的協同作用，將輝達從一家市值 930 億美元的公司，發展成為如今市值 4 兆美元的巨頭。” 他進一步指出，如果沒有 Mellanox 的 InfiniBand，就不會有 ChatGPT：“OpenAI 一直從我們這裡購買最先進的產品。如果沒有這種連接，他們就無法達到人工智慧所需的資料處理速度。”Eyal Waldman說道。“這是業界有史以來最重要的併購案，”Eyal Waldman強調。02 網路連線空前重要Nvidia網路高級副總裁Gilad Shainer此前在接受HPCwire的採訪中回憶道， Mellanox在當時建構的並不是網路元件。 公司主要建構的是端到端的完整基礎設施，並且專注於 InfiniBand，它配備了網路卡和交換機，以及它們之間的連接，以及所有基於其上的軟體，所以它是一個完整的平台。“它是一款完整的基礎設施，InfiniBand 專為分散式運算應用而設計。因此，它在 HPC 和科學計算領域得到了廣泛的應用。所有大規模叢集模擬都使用 InfiniBand，因為它專為分解式計算而設計，並且具有極低的延遲。InfiniBand 確保所有節點都擁有有效頻寬。抖動是每個人都希望最小化的一個因素。”Gilad Shainer接著說。如他所說，對於 HPC 來說，這是一項偉大的技術，而當AI 開始出現時，它又是分散式運算的另一個案例。例如，你可以認為延遲的敏感度更高或更低，因為人工智慧工作負載和科學計算工作負載之間存在一些差異。科學計算工作負載對延遲的敏感度可能比人工智慧訓練初期更高；而當時的敏感度略低。“納秒級的延遲對於訓練來說並不那麼重要，但仍然需要較大的有效頻寬。”Gilad Shainer指出。他表示，現在我們將推理視為人工智慧的主要元素。推理依賴於延遲，因為你需要低延遲。因此，人工智慧和高性能計算（HPC）本質上具有相同的要求。而這正是基礎設施變得更加重要的地方。Gilad Shainer說，將高性能計算 (HPC) 與人工智慧 (AI) 進行比較時，一個有趣的現像是，在高性能計算 (HPC) 中，計算能力一代一代地提升。然而，資料中心的規模卻保持不變。通常情況下，資料中心有幾千個節點，你可以從每個節點獲取遙測資料，但規模保持不變。來到人工智慧方面，要求就更高了。這不僅僅是每台伺服器的計算能力提升，而是每個新 GPU 的計算能力提升，基礎設施的規模已大幅增長。幾年前，人們討論的是 16000 個 GPU，甚至 30000 個 GPU。這就像與高性能計算 (HPC) 進行比較一樣，都是龐大的基礎設施。如今， 16000個GPU的方案都已經被束之高閣。大型基礎設施通常包含數十萬個 GPU，現在 GPU 數量已達 20 萬個，而云廠商們正在討論幾年後遷移到百萬級 GPU。這不僅僅是電腦的問題，也是基礎設施的規模問題。而要實現這種規模，需要合適的擴展網路和可擴展的基礎設施。資料中心現在已經成為衡量計算能力的標準。它不僅僅是一個盒子，而是一個完整的資料中心。“資料中心就是網路。網路將定義GPU如何作為一個整體的計算元素工作，否則它將只是一個GPU伺服器叢集，這就是NVIDIA收購Mellanox的原因。而這正是基礎設施變得越來越重要的地方。”Gilad Shainer說。有見及此，輝達正處於每年推出新資料中心的節奏中：每年都會有新的 GPU、新的計算引擎、新的交換機、新的基礎設施。每年都會有新的資料中心投入使用，為人工智慧應用提供更強大的功能，無論是訓練還是大量的推理。這些新系統正在世界各地催生出大量的人工智慧框架和應用。03 CPO是大勢所趨如大家所說，現在，基礎架構由資料中心所需的多個域組成。除了scale-out （連接伺服器）之外，還需要建構或擴展 GPU，即組合 GPU 並形成更大的虛擬 GPU。為了實現這個更大的虛擬 GPU，需要在各個 GPU 之間提供巨大的頻寬。如果你想讓它看起來像一個整體，這就是NVlink能發揮作用的地方。這項功能是系統網路的scale-up領域。NVlink 需要支援海量頻寬——是scale-out的 9 倍甚至10 倍。它需要非常低的延遲。因此Mellanox的團隊將可擴展分層聚合和縮減協議 (SHARP) 引入 NVlink，這樣就可以進行縮減，使機架成為一個單元，並且我們嘗試在該機架中安裝越來越多的 GPU。未來，輝達計畫在一個機架中部署 576 個 GPU。這是一個巨大的計算量，需要擴展該機架中的基礎設施。公司也正努力將其控制在機架內，以最大限度地利用銅纜布線。在輝達看來，一旦擁有了在各個元件之間傳輸所需的巨大頻寬，您就需要以最具成本效益的方式建構它，而銅纜是連接通訊的最有效方式。但你不能止步於此，因為現在你需要把這些機架連接在一起，你指的是讓數十萬個GPU作為一個單元工作，或者讓20萬個GPU作為一個單元工作。有些客戶可能想要50萬個甚至100萬個GPU。現在，由於距離較遠，我們需要建構一個基於光纖的橫向擴展基礎設施，但它必須具備與 OFED 層相同的特性，包括有效頻寬和確定性。在輝達看來，InfiniBand 仍然被認為是橫向擴展基礎設施的黃金標準。所有你打算建構的、並非 InfiniBand 的東西，你都可以將其與 InfiniBand 進行比較，因為 InfiniBand 是性能的黃金標準。在Gilad Shainer看來，擴展系統是人工智慧的一個方面。每年，資料中心的規模都在大幅增長。這意味著機架之間的頻寬更大，也意味著線路中的計算量更大。因此，線路中的頻寬也更大。Gilad Shaine同時指出，現在我們需要部署更多的光纖連接，而這部分突然就出現了功耗預算。“在人工智慧資料中心，限制因素不是空間或預算，而是能夠引入多少功耗。”他表示。如Gilad Shaine所說，機架之間的光纖連接耗電很高。這會導致機架中可容納的 GPU 數量減少。因此，光纖網路開始消耗接近 10%的計算能力，這是一個很大的數字。所以，在這種情況下，我們需要考慮的一個因素是，有沒有辦法降低光纖網路的功耗？這不僅僅是因為隨著資料中心規模的擴大，需要建構的元件也越來越多——我需要安裝GPU，安裝網路卡，然後連接線纜，安裝收發器和交換機，並進行所有必要的配置，而其中，增長最快的元件是光收發器的數量。因為每個 GPU 大約有 6 個光收發器。如果我有 10 萬個 GPU，就需要 60 萬個收發器。正如您所知，這些收發器對灰塵很敏感，發生故障時可能需要管理員更換。這種情況可能會導致資料中心中這些元件的更換量增加，因為現在的元件數量更多了。因此，輝達認為，資料中心基礎設施的下一個重大舉措是改進或將光纖連接提升到一個新的水平。這需要將目前作為收發器外部獨立部件的光纖連接整合到交換機中，從而將其提升到一個新的水平。如果我把它們放在一個封裝裡，就不需要通過交換機傳輸電訊號了。這意味著我可以降低功耗，用更少的功率驅動光訊號通過交換機。在這種情況下，我可以將功耗降低近四倍。現在，在同樣的網路中，我實際上可以容納三倍多的GPU。於是，輝達正在推動將矽光子引擎或光學引擎整合到交換機上，我就不再需要使用那些外部收發器了。正如Gilad Shaine所說，共封裝光模組（CPO）並非新概念。市場上曾有人嘗試這樣做。現在到處都能看到一些裝置，也有一些交換機系統嘗試採用CPO，但它們都無法實現全面量產並達到良好的良率，從而實現規模化成本效益。這背後的原因有很多。其中一個原因是這項技術未經驗證，所以良率很低。之前製造的光學引擎採用的是製造大型光學引擎的技術。如果我有一個大型基數交換機，由於尺寸問題，我無法將所有這些光學引擎都裝在同一個交換機上。這時候，就需要新的封裝技術甚至新的雷射技術。而達成的上述種種成就，也和輝達當年收購Mellanox密不可分。04 寫在最後Eyal Waldman在播客採訪中將Mellanox出售談判描述為英特爾、輝達和其他公司之間的一場“大戰”。“最終，與黃仁勳（輝達首席執行官）的聯絡是水到渠成的。“從一開始，我們就知道這是方向。2019年，英特爾的市值遠超輝達，而僅僅一年後，輝達就超越了它。從那時起，由於對人工智慧的正確押注，它的股價一路飆升。”Eyal Waldman強調。籍著收購Mellanox之後，輝達在以色列建立起僅次於美國的研發團隊。據資料顯示，這家晶片巨頭在以色列的七個研發中心擁有超過 5000 名員工。該公司也在當地開發資料中心的中央處理器（CPU）、機器人和汽車的片上系統（SoC）以及自動駕駛汽車的演算法。由此看來，對輝達來說，這是一個前所未有重要的交易。 (EDA365電子論壇)

瑞銀分析師Timothy Arcuri表示，輝達手握"數十千兆瓦"AI基礎設施項目，按保守估算價值超過1兆美元。如果這一預測成真，輝達資料中心收入有望在2-3年內達到每年4000億美元，幾乎是當前市場預期的兩倍。輝達不僅交出數份超預期財報，其後續的增長前景可能超出市場想像。周二，瑞銀分析師Timothy Arcuri在一份客戶報告中表示，輝達手握"數十千兆瓦"AI基礎設施項目，按保守估算價值超過1兆美元。如果這一預測成真，輝達資料中心收入有望在2-3年內達到每年4000億美元，幾乎是當前市場預期的兩倍。上周，瑞銀分析師Steven Fisher、Amit Mehrotra等人指出，人工智慧資料中心的建設熱潮預計要到2026年第二季度才會在實體經濟中顯現出來或提供結構性順風。分析認為，這一觀點表明，AI基建繁榮已經超越了周期概念，轉向指數級基礎設施擴張模式。數字時代的人工智慧資料中心建設可以被視為的20世紀30年代“羅斯福新政”，只不過，它建設的不是高速公路和水壩，而是GPU和兆瓦電力。它正在重塑美國的基礎設施，但主導者是大型科技公司。此外，瑞銀還分析表示，電話會中GB200出貨量更多是向投資者保證機架問題已經解決，同時NVLink推動網路業務爆發式增長，並預計Blackwell盈利能力改善和成本下降將推動毛利率在2026財年末回到75%左右。兆美元潛在項目：被忽視的增長引擎根據瑞銀分析，輝達在最新財報電話會議中提及的“數十千兆瓦”潛在人工智慧基礎設施項目，按20千兆瓦的保守估算和公司每千兆瓦400-500億美元的定價區間，總收入機會至少達到1兆美元。更關鍵的是時間表。瑞銀認為這些項目將在2-3年內推出，意味著輝達每年可獲得約4000億美元的“可見性“資料中心收入——這一數字是瑞銀對其2026財年資料中心收入預期（2330億美元）的近兩倍。瑞銀分析師Timothy Arcuri指出：這顯然令人興奮僅Crusoe一家數字基礎設施開發商就擁有約20GW的項目管道，而這只是眾多開發商中的一家。這一發現應該能夠緩解投資者對增長可持續性的擔憂。GB200出貨量資料背後的真相輝達在財報會議上提供的GB200機架資料引發了投資者困惑。公司表示，主要超大規模客戶平均每周部署近1000個NVL72機架，相當於72000個Blackwell GPU，並有望在本季度進一步提升產能。按字面理解，這意味著每個超大規模客戶的GPU運行率接近每季度100萬個——遠超大多數共識預期。但瑞銀認為，輝達並非在傳達收入“運行率”，而是試圖向投資者保證GB200機架問題已經解決，大量機架正從ODM和OEM廠商流向客戶。瑞銀表示，“我們不會對這些數字做過多解讀，因為我們認為公司更多是想說明情況而非提供量化資料。”NVLink推動網路業務爆發式增長輝達網路收入在第一財季增長至約50億美元，環比增長64%，其中10億美元來自NVLink收入的大幅增長。瑞銀認為這幾乎完全與GB200 NVL72機架規模系統出貨量增長有關，每個系統包含72個GPU的NVLink域，相比HGX系統最多8個GPU的配置有顯著提升。由於輝達對NVL72系統單獨確認NVLink收入，預計網路收入將更緊密地跟蹤NVL72機架出貨量，儘管可能存在輕微滯後。遊戲業務復甦：管道補庫存而非AI挪用第一財季遊戲收入大幅改善（環比增長近50%，遠超預期）引發投資者質疑，50系列RTX顯示卡被轉用於其他市場。瑞銀認為任何此類轉用都極其有限，原因包括：基於Blackwell的RTX GPU在遊戲管道的供應仍然過於有限；RTX 50系列GPU基於PCIe且不支援擴展用的NVLink；輝達在初期為優先保障資料中心應用而在某種程度上限制了遊戲管道的Blackwell供應，第一財季增長主要由嚴重供應短缺後的管道補貨推動。毛利率復甦路徑清晰Blackwell盈利能力的普遍改善和成本下降仍是推動毛利率在2026財年末回到75%左右的主要驅動力。瑞銀認為GB300將發揮重要作用，輝達可能在第二財季確認少量收入，真正放量將在第三財季。長期來看，基於價值定價仍是輝達毛利率的關鍵函數，這涉及硬體和軟體疊加，在GTC大會上發佈的Dynamo就是典型例子，可將輝達硬體上的推理速度提升30倍以上。綜合來看，輝達的財報以及瑞銀對多年AI基礎設施繁榮的擴展可見性表明，這場繁榮更多關乎指數級基礎設施擴展，而非產品周期。瑞銀分析師Steven Fisher、Amit Mehrotra等人上周指出，AI資料中心的建設熱潮預計要到2026年第二季度才會在實體經濟中顯現並提供結構性推動力。 (invest wallstreet)

前段時間介紹超節點的時候，有很多讀者追問NVLINK的細節。今天乾脆單獨開一篇，講講NVLink。█NVLink的誕生背景上世紀80-90年代，電腦技術高速發展，逐漸形成了英特爾和微軟為代表的“Wintel”軟硬體體系。在硬體上，基本上都是圍繞英特爾的x86 CPU進行建構。為了能讓電腦內部能夠更好地傳輸資料，英特爾牽頭設計了PCIe匯流排。懂電腦的同學，應該對PCIe非常熟悉。我們的顯示卡，還有早期的網路卡和音效卡等，都是插在電腦主機板PCIe插槽上工作的。後來，隨著時間的推移，電腦CPU、記憶體、顯示卡的性能越來越強大，相互之間傳輸的資料量也越來越多，PCIe的能力開始出現瓶頸（儘管這個技術也在迭代），傳輸速率和時延逐漸無法滿足需求。表現最突出的，是顯示卡（GPU）的通訊需求。本世紀初，遊戲產業發展迅速，顯示卡的升級迭代也很快。當時，為了讓遊戲體驗更加流暢，甚至出現了同時安裝2塊顯示卡的情況。AMD（2006年收購了ATI）那邊，把這種多顯示卡技術叫做Crossfire（交火）。而輝達這邊，則叫做SLI（Scalable Link Interface，可升級連接介面，也叫“速力”，2007年推出）。除了個人消費領域之外，科研領域對顯示卡性能的需求也不斷增加。科學家們使用顯示卡，不是為了玩遊戲，而是為了3D建模，以及執行一些超算任務。輝達在不斷提升顯示卡性能的同時，發現PCIe協議嚴重限制了顯示卡的對外資料傳輸。於是，他們開始考慮自創一套體系，用於取代PCIe協議。2014年，輝達基於SLI技術，推出了用於GPU高速互連的新協議——NVLink（Nvidia Link）。輝達NVLink技術的早期合作對象，是IBM。為什麼不是英特爾或AMD呢？因為PCIe是英特爾牽頭搞的，不太想搞NVLink。AMD算是輝達競爭對手，也不合適。當時，IBM是超算領域的巨頭，而且在技術參數上和輝達非常匹配，所以雙方進行了合作。輝達在發佈NVLink時指出：GPU視訊記憶體的速度快但容量小，CPU記憶體的速度慢但容量大。因為記憶體系統的差異，加速的計算應用一般先把資料從網路或磁碟移至CPU記憶體，然後再複製到GPU視訊記憶體，資料才可以被GPU處理。在NVLink技術出現之前，GPU需要通過PCIe介面連接至CPU，但PCIe介面太落後，限制了GPU存取CPU系統記憶體的能力，對比CPU記憶體系統要慢4-5倍。有了NVLink之後，NVLink介面可以和一般CPU記憶體系統的頻寬相匹配，讓GPU以全頻寬的速度存取CPU記憶體，解決了CPU和GPU之間的互聯頻寬問題，從而大幅提升系統性能。IBM POWER CPU的頻寬高於x86 CPU，PCIe瓶頸效應更為明顯，所以，他們才非常積極想要和輝達合作。在GTC2014上，輝達CEO黃仁勳對NVLink讚不絕口。他表示：“NVLink讓 GPU與CPU之間共享資料的速度快了5-12倍。這不僅是全球首例高速GPU互聯技術，也為百億億次級計算鋪平了道路。”GTC20142014年年底，美國能源部宣佈將由IBM和輝達共同建造兩台新的旗艦超級電腦，分別是橡樹嶺國家實驗室的Summit系統和勞倫斯利弗莫爾國家實驗室的Sierra系統，引發行業的高度關注。而NVLink，就是其中的關鍵技術，用於IBM POWER9 CPU與輝達GPGPU（基於Volta架構）的連接。根據官方資料，建成的超級電腦算力高達100Pflops。除了超算之外，在智算領域，NVLink也迎來了機遇。2012年，AI大佬傑弗裡·辛頓帶著兩個徒弟搞出了深度摺積神經網路AlexNet，贏得ImageNet圖像識別大賽，徹底點爆了用GPU進行AI計算這個路線，從而打開了新世界的大門。在超算和智算雙重浪潮的助推下，輝達的GPU、NVLink、CUDA等技術，開始走向了全面爆發。█NVLink的技術演進NVLink能夠實現更高的速率、更低的時延，各方面性能都明顯強於PCle。接下來，我們看看它到底是個什麼樣的連接方式。輝達GTC2014發佈的是NVLink的首個版本——NVLink 1.0。在2016年（GTC2016）發佈的P100晶片上，就搭載了NVLink 1.0技術。NVLink是一種基於高速差分訊號線的序列通訊技術。每塊P100 GPU整合了4條NVLink 1.0鏈路。每條NVLink 1.0鏈路由8對差分線（8個通道）組成。NVLink鏈路和差分線每對差分線（每個通道）的雙向頻寬是5GB/s。所以，每條NVLink 1.0鏈路的雙向頻寬是40GB/s。因此，每塊P100 GPU的總雙向頻寬可達160GB/s，是PCIe3 x16（總頻寬大約32GB/s）的五倍。NVLink還支援記憶體一致性和直接記憶體訪問（DMA），進一步提高了資料傳輸效率和計算性能。迄今為止，輝達陸續推出了NVLink 1.0~5.0，參數我就不一一介紹了，可以看下面的表格：NVLink1-4代際（圖片來自輝達官網）再來看看拓撲結構。最簡單的兩張卡直接互連，就是槓鈴拓撲（barbell topology）。雙PCIe GPU之間，可以通過NVLink Bridge裝置實現。槓鈴拓撲NVLink Bridge四張GPU卡的話，可以使用十字交叉方形拓撲（crisscrossed square topology）。這是一種Full Mesh的網狀交叉互聯結構。十字交叉方形拓撲8張GPU卡，就稍微有點複雜了。在HGX-1系統中實現了一種 “hybrid cube mesh” 8 GPU互聯結構。如下圖所示：每一塊GPU都巧妙利用了其6條NVLink，與其他4塊GPU相連。8塊GPU以有限的NVLink數量，實現了整體系統的最佳性能。這個圖看上去有點奇怪。實際上，如果把它以立體的方式呈現，就很清晰了：就是串聯的架構。當時輝達發佈的超級電腦DGX-1，就是採用了上面這個架構。2016年，輝達CEO黃仁勳給剛剛成立的OpenAI公司贈送了世界上第一台DGX-1超級電腦，價值129000美元。這台DGX-1擁有2顆Xeon處理器和8顆Tesla P100 GPU，整機擁有170TFLOPs的半精度（FP16）峰值性能，還配備了512GB系統記憶體和128GB GPU記憶體。這台機器給OpenAI的早期起步提供了極大幫助，大幅縮短了他們的大模型訓練周期。Hybrid Cube Mesh架構實現了單機內的8卡互連，但也存在一些不足：它屬於一種序列連接，8塊GPU之間並非兩兩互聯，每一塊GPU只與其他4塊GPU相連，且存在頻寬不對等的情況。於是，2018年，為了實現8顆GPU之間的all-to-all互連，輝達發佈了NVSwitch 1.0。NVSwitch，說白了就是“交換晶片”。它擁有18個連接埠，每個連接埠的頻寬是50GB/s，雙向總頻寬900GB/s。用6個NVSWitch，可以實現8顆V100的all-to-all連接。引入NVSwitch的DGX-2，相比此前的DGX-1，提升了2.4倍的性能。到NVLink 4.0的時候，DGX的內部拓撲結構增加了NVSwitch對所有GPU的全向直連，DGX內部的互聯結構得到簡化。2022年，輝達將原本位於電腦內部的NVSwitch晶片獨立出來，變成了NVLink交換機。這意味著，一個計算節點已經不再僅限於1台伺服器，而是可以由多台伺服器和網路裝置共同組成。目前，NVLink Switch已經發展到4.0版本。2022年，NVLink 4.0發佈時，輝達把既有的NVLink定義為NVLink-network，然後又專門推出了NVLink-C2C（Chip to Chip，晶片到晶片之間的連接）。NVLink-C2C是板級互連技術。它能夠在單個封裝中，將兩個處理器連接在一起，變成一塊超級晶片（Superchip）。例如，輝達的GH200，就是基於NVLink-C2C，將Grace CPU和Hopper GPU連接成Grace Hopper超級晶片。Grace Hopper平台的架構目前最新的NVLink代際，是NVLink 5.0，由輝達在2024年與Blackwell架構一同推出。單GPU可支援多達18個NVLink連結接，總頻寬達到1800GB/s，是NVLink 4.0的2倍，是PCIe 5頻寬的14倍以上。具體參數前面表格有，小棗君就不多說了。█NVL72的整體架構接下來，我們重點看看基於NVLink 5.0打造的DGX GB200 NVL72超節點。這個超節點的架構非常有代表性。DGX GB200 NVL72，包含了18個GB200 Compute Tray（計算托架），以及9個NVLink-network Switch Tray（網路交換托架）。如下圖所示：NVL72機櫃每個Compute Tray包括2顆GB200超級晶片。每顆GB200超級晶片包括1個Grace CPU、2個B200 GPU，基於NVLink-C2C技術。所以，整個機架就包括了36個Grace CPU（18×2），72個B200 GPU（18×2×2）。8個DGX GB200 NVL72，又可以組成一個576個GPU的SuperPod超節點，總頻寬超過1PB/s，高速記憶體高達240TB。NVL72機架的9個Switch Tray（網路交換托架），就是9台NVLink Switch交換機。每台NVLink Switch交換機包括2顆NVLink Switch4晶片，交換頻寬為28.8Tb/s × 2。NVLink SwitchNVL72採用高速銅連接架構設計。在機架的背框中，有4組NVLink卡盒（NVLink Cartridge），也就是安費諾Paladin HD 224G連接器（每個連接器有72個差分對），負責計算托架、網路托架之間的資料傳輸。在這些連接器中，容納了5000多根節能同軸銅纜（NVLink Cables，帶有內建訊號放大器），可以提供130TB/s的全對全總頻寬和260TB/s的集合通訊（AllReduce）頻寬。功耗方面，B200單顆晶片的功耗1000W，1顆Grace CPU和2顆B200組成的超級晶片GB200，功耗達到了2700W。整個DGX GB200 NVL72機架，功耗大約是120kW（重量大約是1.3噸）。為了確保穩定的供電，NVL72採用了新的增強型大容量母線排設計。升級後的母線排寬度與現有Open Rack Version 3（ORV3）標準相同，但深度更大，顯著提高了其電流承載能力。新設計支援高達1400安培的電流流動，是現行標準的2倍。NVL72是液冷機架式系統，採用了增強型免工具安裝（盲配）液冷分配管（歧管）設計，以及新型可自動對準的免工具安裝（浮動盲配）托盤連接。不僅可以提供120kW冷卻能力，還極大地簡化了安裝和維運。對外連接方面，NVL72配置了CX7或CX8網路卡，通過400G或800G的IB網路與外部進行Scale Out互聯，對應每台compute tray（計算托架）擁有2個OSFP 800G或1.6T連接埠。值得一提的是，NVL72還包括BlueField-3資料處理單元（DPU），可以實現雲網路加速、可組合儲存、零信任安全和GPU計算彈性。總而言之，GB200 NVL72確實是一個性能猛獸，也是打造萬卡、十萬卡GPU叢集的利器。憑藉自身強大的算力，NVL72在推出市場後，很快引發了搶購熱潮。微軟、Meta等科技巨頭，都進行了瘋狂採購。據悉，GB200 NVL72伺服器的平均單價約為300萬美元（約合2139萬元人民幣），較NVL36機櫃的平均售價高出66%。輝達又又又賺得盆滿缽滿了。█結語好啦，以上就是關於輝達NVLink的介紹。目前，AI算力建設浪潮仍在持續。除了輝達之外，包括AMD、華為、騰訊、阿里等在內的很多公司都在研究和推進自己的節點內部互連（Scale Up）技術標準，也在打造更大規模的GPU叢集。 (鮮棗課堂)