新一輪 AI 熱潮下，算力即國力，也是目前 AI 領域重要的成本投入之一。

據鈦媒體AGI編輯計算和整理，2023年，全球 AI 晶片市場規模大約為536億美元。Gartner預測，到2027年，全球AI晶片營收將是2023年市場規模的兩倍以上，達到1194億美元。

今晨Semi Analysis發表的一篇文章稱，目前，全球爭相建立10萬個輝達H100 GPU晶片組成的算力叢集，成本超過40億美元（約合290億元人民幣）。其中，僅GPT-4，在約20000個A100上訓練了90到100天，而如果一個 10萬個 H100 叢集，使用 FP8 訓練 GPT-4 隻需四天時間，換算的成本超過8億美金。

那麼，算力到底被誰卡住了“脖子”？如何最佳化算力成本？本文轉載半導體行業觀察，編譯自semianalysis，詳細闡述 AI 算力成本的部署情況。

有一部分人認為，自 GPT-4 發佈以來，AI 能力一直停滯不前。這通常是正確的，但這只是因為沒有人能夠大幅增加專用於單個模型的計算量。已發佈的每個模型都大致達到 GPT-4 等級（訓練計算約 2e25 FLOP）。

這是因為，專用於這些模型的訓練計算也大致處於同一水平。

以 Google 的 Gemini Ultra、Nvidia Nemotron 340B 和 Meta LLAMA 3 405B 為例，與 GPT-4 相比，專用的 FLOPS 數量級相似甚至更高，但使用了較差的架構，導致這些模型無法解鎖新功能。

儘管 OpenAI 獲得了越來越多的計算資源，但他們主要致力於推出更小、訓練過度、更便宜的推理模型，例如 GPT-4 Turbo 和 GPT-4o。OpenAI 承認他們最近才剛剛開始訓練下一層模型。

人工智慧的下一步顯然是使用大量視訊、圖像、音訊和文字來訓練一個具有數兆參數的多模態轉換器。目前還沒有人完成過這項任務，但人們正在爭先恐後地開展活動。

多個大型人工智慧實驗室（包括但不限於 OpenAI/Microsoft、xAI 和 Meta）正在競相建構擁有超過 100,000 個 GPU 的 GPU 叢集。這些單獨的訓練叢集僅伺服器資本支出就超過 40 億美元（約合人民幣290.22億元）。

但它們也受到資料中心容量和功率不足的嚴重限制，因為 GPU 通常需要共置才能實現高速晶片到晶片聯網。美國能源署資料，一個 100,000 個 GPU 叢集將需要 >150MW 的資料中心容量，一年內消耗 1.59 太瓦時，按 0.078 美元/千瓦時的標準費率計算，成本為 1.239 億美元。

今天，我們將深入研究大型 AI 訓練叢集及其周圍的基礎設施。建構這些叢集比僅僅投入資金要複雜得多。由於各種元件（尤其是網路）的故障率很高，因此實現高利用率更加困難。我們還將介紹這些系統的電源挑戰、可靠性、檢查點、網路拓撲選項、平行方案、機架佈局和總物料清單。在之前，我們介紹了 Nvidia 的 InfiniBand 問題，導致一些公司選擇 Spectrum-X 乙太網路而不是 InfiniBand。我們還將介紹 Spectrum-X 的主要缺陷，超大規模企業選擇 Broadcom 的 Tomahawk 5。

為了說明 100,000 GPU 叢集可以提供多少計算量，OpenAI 為 GPT-4 訓練的 BF16 FLOPS 約為 2.15e25 FLOP（2150 萬 ExaFLOP），在約 20,000 個 A100 上訓練了 90 到 100 天。該叢集的峰值吞吐量僅為 6.28 BF16 ExaFLOP/秒。在 100k H100 叢集上，這個數字將飆升至 198/99 FP8/FP16 ExaFLOP/秒。與 20k A100 叢集相比，峰值理論 AI 訓練 FLOP 增加了 31.5 倍。

在 H100 上，AI 實驗室在兆參數訓練運行中實現了高達 35% 的 FP8 模型 FLOP 利用率 (MFU)，40% 的 FP16 MFU。總結一下，MFU 是在考慮開銷和各種瓶頸（例如功率限制、通訊不穩定、重新計算、落後者和低效核心）後，衡量峰值潛在 FLOPS 的有效吞吐量和利用率的指標。一個 100,000 個 H100 叢集使用 FP8 訓練 GPT-4 隻需四天時間。在 100k H100 叢集訓練運行 100 天後，您可以實現約 6e26（6 億 ExaFLOP）的有效 FP8 模型 FLOP。

請注意，硬體可靠性差會顯著降低 MFU（ 模型算力利用率）。

100k H100 叢集所需的關鍵 IT 功率約為 150MW。雖然 GPU 本身只有 700W，但在每個 H100 伺服器中，CPU、網路介面卡 (NIC)、電源單元 (PSU) 為每個 GPU 額外佔用約 575W。除了 H100 伺服器之外，AI 叢集還需要儲存伺服器、網路交換機、CPU 節點、光收發器和許多其他項目的集合，這些項目加起來佔 IT 功率的另外約 10%。考慮到約 150MW 的功率，最大的國家實驗室超級計算 El Capitan僅需要 30MW 的關鍵 IT 功率。與工業相比，政府超級電腦相形見絀。

一個主要的電力挑戰是，目前沒有一座資料中心建築能夠容納新的約 150MW 部署。當人們提到 10 萬個 GPU 叢集時，他們通常指的是一個校園，而不是建築。電力需求如此迫切，由於沒有其他選擇，X.AI 甚至將田納西州孟菲斯的一家舊工廠改造成資料中心。

這些叢集通過光收發器聯網，而光收發器的價格與覆蓋範圍成正比。範圍更廣的“單模”DR 和 FR 收發器可以可靠地傳輸訊號約 500 米到約 2 公里，但成本是“多模”SR 和 AOC 收發器的 2.5 倍，後者僅支援最多約 50 米的覆蓋範圍。此外，校園級“相干”800G 收發器也存在，覆蓋範圍超過 2 公里，但價格要高出 10 倍以上。

小型 H100 叢集通常僅通過一層或兩層交換機，以 400G 的速度將每個 GPU 連接到其他每個 GPU，僅使用多模收發器。對於大型 GPU 叢集，必須新增更多交換層，並且光學器件變得非常昂貴。此類叢集的網路拓撲將根據首選供應商、當前和未來的工作負載以及資本支出而有很大差異。

每個設計通常包含一個或多個計算單元，這些單元通過更便宜的銅纜或多模收發器連接。然後，它們將使用更長距離的收發器在“島嶼”之間進行互連。在單一地點交付 155MW 是一項挑戰，但我們正在跟蹤超過 15 個 Microsoft、Meta、Google、Amazon、Bytedance、X.AI、Oracle 等資料中心的建設，這些資料中心將為 AI 伺服器和網路提供如此大的空間。

不同的客戶會根據資料傳輸基礎設施、成本、可維護性、功率、當前和未來的工作負載等多種因素選擇不同的網路拓撲。因此，一些客戶選擇基於 Broadcom Tomahawk 5 的交換機，其他客戶則堅持使用 Infiniband ，而其他客戶則選擇 NVIDIA Spectrum-X 。我們將在下面深入探討原因。

為了理解網路設計、拓撲、可靠性問題和檢查點策略，我們首先快速回顧一下兆參數訓練中使用的 3 種不同類型的平行性：資料平行性（Data Parallelism）、張量平行性（Tensor Parallelism）和管道平行性（Pipeline Parallelism）。我們在這裡對平行性進行了全面的解釋。

資料平行是最簡單的平行形式，其中每個 GPU 都保存模型權重的完整副本，每個 GPU（等級）接收不同的資料子集。這種類型的平行具有最低等級的通訊，因為每個 GPU 之間只需要對梯度進行求和（全部減少）。不幸的是，只有當每個 GPU 都有足夠的記憶體來儲存整個模型權重、啟動、最佳化器狀態時，資料平行才有效。對於像 GPT-4 這樣的 1.8 兆參數模型，僅模型權重和最佳化器狀態就需要多達 10.8 TB 的記憶體進行訓練。

為了克服這些記憶體限制，GPU使用了張量平行。在張量平行中，每個層的工作和模型權重通常分佈在隱藏維度上的多個 GPU 上。中間工作通過全縮減在裝置之間多次交換，涉及自注意力、前饋網路和每個層的層規範化。這需要高頻寬，尤其是需要非常低的延遲。實際上，域中的每個 GPU 都與其他每個 GPU 在每一層上協同工作，就好像它們是一個巨大的 GPU 一樣。張量平行將每個 GPU 使用的總記憶體減少了張量平行等級的數量。例如，目前在 NVLink 上使用 8 個張量平行等級是很常見的，因此這將使每個 GPU 使用的記憶體減少 8。

另一種克服每個 GPU 沒有足夠的記憶體來容納模型權重和最佳化器狀態的挑戰的技術是使用流水線平行。使用流水線平行，每個 GPU 僅具有層的一個子集，並且僅對該層進行計算並將輸出傳遞給下一個 GPU。此技術通過流水線平行等級數減少了所需的記憶體量。流水線平行對通訊量的要求很高，但不像張量平行那麼高。

為了最大化模型 FLOP 利用率 (MFU)，公司通常會將三種平行形式結合起來形成 3D 平行。然後在 H100 伺服器內部對 GPU 應用張量平行，然後在同一個 Island 內的節點之間使用管道平行。由於資料平行的通訊量最低，而 Island 之間的聯網速度較慢，因此 Island 之間使用資料平行。

FSDP 之類的整體技術在小型 GPU 世界規模下對於非常大的模型很常見，但它不起作用。它實際上也與 FSDP 不相容。

網路設計時考慮了平行方案。如果每個 GPU 都以最大頻寬連接到胖樹拓撲中的每個其他 GPU，則成本將非常高昂，因為需要 4 層交換。由於每增加一層網路都需要中間的光學元件，因此光學元件的成本將飆升。

因此，沒有人會為大型 GPU 叢集部署full fat tree架構。相反，他們依靠製造具有全胖樹（full fat tree）架構的計算島，同時這些島之間的頻寬較少。有多種方法可以做到這一點，但大多數公司都選擇“超額認購”頂層網路。

例如，請參閱 Meta 的上一代 GPU 叢集架構，最高可達 32,000。總共有 8 個島，它們之間具有全胖頻寬，然後頂部還有另一層交換層，其超額認購率為 7:1。與島內的網路相比，島之間的網路速度要慢 7 倍。

GPU 部署有多個網路、前端、後端和擴展 (NVLink)。在某些情況下，您將在每個網路上運行不同的平行方案。NVLink 網路可能是唯一一個速度足夠快以滿足張量平行頻寬要求的網路。您的後端通常可以輕鬆處理大多數其他類型的平行，但如果存在超額認購，則通常只能使用資料平行。

此外，有些人甚至沒有在頂層擁有超額頻寬的孤島。相反，他們利用從後端網路轉移到前端網路的舉措。

混合 InfiniBand 和前端乙太網路結構的重要性

一家大型公司使用前端乙太網路在多個 InfiniBand 島上進行訓練。這是因為前端網路的成本要低得多，並且可以利用建築物和區域路由之間的現有資料中心園區網路。

不幸的是，由於 MoE 等稀疏技術的存在，模型大小增長得更快，前端網路需要處理的通訊量也會增加。必須仔細最佳化這種權衡，否則您最終會擁有兩個成本相同的網路，因為前端網路頻寬最終會增長得如此之大，以至於可能與後端網路頻寬相匹配。

值得注意的是，Google專門使用前端網路進行多 TPU pod 訓練運行。他們的“計算結構”稱為 ICI，最多隻能擴展到 8960 個晶片，並採用昂貴的 800G 光學器件和光路交換機連接每個 64 個 TPU 水冷機架。因此，Google必須通過使 TPU 前端網路比大多數 GPU 前端網路更強大來彌補這一不足。

當在訓練期間使用前端網路時，必須執行島之間的網路拓撲感知全域全歸約。首先，每個 pod 或島將在 pod InfiniBand 或 ICI 網路內執行本地歸約散射，這將使每個 GPU/TPU 擁有梯度子部分的總和。接下來，將使用前端乙太網路網路執行每個主機等級之間的跨 pod 全歸約，然後最終每個 pod 將執行 pod 級全收集。

前端網路還負責載入資料。隨著我們轉向多模態圖像和視訊訓練資料，前端網路需求將呈指數級增長。在這種情況下，前端網路頻寬將在載入大型視訊檔案和執行所有歸約之間爭奪。此外，如果儲存網路流量不規則，您的落後者問題就會增加，這會導致您的整個全歸約速度變慢並且無法進行預測建模。

替代方案是使用 4 層 InfiniBand 網路，超額訂閱率為 7:1，包含 4 個 pod，每個 pod 有 24,576 個 H100，並採用無阻塞 3 層系統。與使用前端網路相比，這為未來的頻寬增加提供了更大的靈活性，因為從 A 棟樓的一個交換機向 B 棟樓的另一個交換機新增更多光纖收發器要容易得多，而對叢集的每個機箱進行完整的前端網路 NIC 升級以將其從 100G 升級到 200G 等則要容易得多。

這樣可以建立更穩定的網路模式，因為您的前端網路可以專注於載入資料和檢查點，而您的後端網路可以專注於 GPU 之間的通訊。這也有助於解決落後者問題。但不幸的是，由於需要所有額外的交換機和收發器，4 層 Infiniband 網路非常昂貴。

為了提高可維護性並增加銅網路（<3 米）和多模網路（<50 米）的使用，一些客戶選擇放棄 NVIDIA 推薦的導軌最佳化設計，而是選擇採用機架中間設計。

軌道最佳化是一種讓每台 H100 伺服器連接到 8 個不同的葉交換機（而不是全部連接到同一個機架交換機中間）的技術，這樣每個 GPU 只需 1 個交換機跳轉即可與更遠的 GPU 通訊。這可以提高現實世界中所有集體的性能。所有集體通訊在混合專家 (MoE) 專家平行性中被大量使用。

導軌最佳化設計的缺點是，您必須連接到距離不同的不同葉交換機，而不是連接到靠近伺服器中所有 8 個 GPU 的機架中間交換機。當交換機可以放在同一個機架中時，可以使用無源直連電纜 (DAC) 和有源電纜 (AEC)，但在導軌最佳化設計中，交換機不一定位於同一個機架中，必須使用光纖。此外，葉到主幹的距離可能大於 50 米，因此必須使用單模光纖收發器。

通過使用非軌道最佳化設計，您可以用廉價的直接連接銅線替換連接 GPU 和葉交換機的 98,304 個光收發器，從而使您的 GPU 結構中有 25-33% 為銅線。從下面的機架圖可以看出，現在葉交換機位於機架中間，允許每個 GPU 使用 DAC 銅線，而不是每個 GPU 到葉交換機的連接都向上連接到電纜托盤，然後橫向穿過 9 個機架連接到專用的軌道最佳化葉交換機機架。

與光纖相比，DAC 銅纜運行溫度更低、耗電更少且更便宜。由於 DAC 電纜運行溫度更低、耗電更少且更可靠，因此可以減少抖動（網路鏈路間歇性中斷）和故障，這是所有使用光纖的高速互連的主要問題。使用 DAC 銅纜時，Quantum-2 IB 主幹交換機的功耗為 747 瓦。使用多模光纖收發器時，功耗會增加到 1,500 瓦。

此外，對於資料中心技術人員來說，軌道最佳化設計的初始布線極其耗時，因為每條鏈路的末端距離可達 50 米，而且不在同一機架上。相比之下，機架中間設計中，您的葉交換機與連接到葉交換機的所有 GPU 位於同一機架中。在機架中間設計中，您甚至可以在整合工廠測試計算節點到葉交換機的鏈路，因為它們都在同一個機架內。

由於當前前沿訓練技術的同步特性，可靠性是這些巨型叢集最重要的營運問題之一。最常見的可靠性問題是 GPU HBM ECC 錯誤、GPU 驅動程式卡住、光收發器故障、NIC 過熱等。節點不斷出現故障或出現錯誤。

隨著人工智慧的飛速發展，尤其是大語言模型的崛起，對算力需求的井噴式增長，催生了高性能計算網路技術的快速發展。其中，InfiniBand作為一種高性能、低延遲的通訊技術協議，憑藉其強大的性能和靈活的擴展性，成為支撐GPT等大型語言模型訓練和推理的基石，也成為了輝達等巨頭爭奪的焦點。本文就來聊一聊InfiniBand,目錄如下：

對於搞AI的同學來說，瞭解底層的算力架構是很重要的，尤其是今年大語言模型的崛起，讓GPU無比緊俏，那麼底層的算力最佳化也就變得越來越必要了。今天我們就來聊聊GPT背後所使用的算力網路，也是讓輝達站上萬億市值的基礎——InfiniBand。它到底是一項怎樣的技術？為什麼會倍受現在這些AI公司的追捧？而人們經常討論的“InfiniBand與乙太網路”之爭，又是怎麼回事呢？InfiniBand，簡稱IB，是一種能力很強的通訊技術協議，它的英文直譯過來，就是“無限頻寬”。

Infiniband的誕生源自電腦架構的發展。現代數字電腦採用馮·諾依曼架構，包括CPU、儲存器（如記憶體和硬碟），以及輸入/輸出裝置（I/O）。在20世紀90年代早期，為了支援越來越多的外部裝置，英特爾在標準PC架構中引入了PCI匯流排。這是一條通道，用於連接各種裝置。

隨著網際網路的快速發展，線上業務和使用者數量增加，對IT系統的需求也大幅提升。在摩爾定律的推動下，CPU、記憶體、硬碟等部件升級很快，但PCI匯流排的升級速度卻很慢，成為系統的瓶頸。

為瞭解決這個問題，英特爾、微軟和SUN公司開發了“下一代I/O（NGIO）”技術標準，而IBM、康柏和惠普公司則開發了“未來I/O（FIO）”標準。IBM等公司還在1998年推出了PCI-X標準。1999年，FIO和NGIO的開發者們合併成立了InfiniBand貿易協會（IBTA）。不久後，在2000年，InfiniBand架構的1.0版本正式發佈。

簡而言之，Infiniband的目的是取代PCI匯流排。它引入了RDMA協議，具有更低的延遲、更大的頻寬和更高的可靠性，從而實現更強大的I/O性能。

提到InfiniBand，就不得不提到Mellanox（中文名為邁絡思）。1999年5月，幾名從英特爾和伽利略技術公司離職的員工在以色列創立了Mellanox。Mellanox公司成立後，加入了NGIO，並隨之加入了InfiniBand陣營。2001年，他們推出了首款InfiniBand產品。然而，2002年，英特爾和微軟退出了InfiniBand的開發，這給InfiniBand的發展帶來了陰影。

2003年，InfiniBand開始應用於電腦叢集互聯。美國弗吉尼亞理工學院建立了一個基於InfiniBand技術的叢集，在全球超級電腦500強測試中排名第三。2004年，開放Fabrics聯盟（OFA）成立，負責開發和維護InfiniBand協議和上層應用API，與負責InfiniBand標準的IBTA配合。

2005年，InfiniBand開始用於儲存裝置連接，成為流行的SAN技術。隨著越來越多使用者採用，InfiniBand的市場份額不斷提升。2009年，TOP500榜單中已有181個系統採用了InfiniBand。

Mellanox逐漸成為InfiniBand市場的領導者。2010年，Mellanox與Voltaire合併，主要供應商只剩下Mellanox和QLogic。2012年，英特爾收購了QLogic的InfiniBand技術，重新加入競爭。隨著高性能計算需求的增長，InfiniBand市場份額持續提升。到2015年，TOP500榜單中採用InfiniBand的系統超過了50%，標誌著InfiniBand成為超級電腦的首選內部連接技術。

2013年，Mellanox相繼收購了硅光子技術公司Kotura和平行光互連晶片廠商IPtronics，進一步完善了自身的產業佈局。到2015年，Mellanox在全球InfiniBand市場的佔有率達到了80%。他們的業務範圍從晶片擴展到網路卡、交換機/閘道器、遠端通訊系統和線纜及模組等全領域，成為世界級的網路提供商。

面對InfiniBand的迅猛發展，乙太網路也在積極應對。2010年4月，IBTA發佈了RoCE技術，即基於融合乙太網路的遠端直接記憶體訪問，將InfiniBand中的RDMA技術移植到了乙太網路上。2014年，RoCE v2版本發佈，使乙太網路大幅縮小了與InfiniBand之間的技術性能差距。憑藉成本和相容性優勢，乙太網路重新獲得競爭力。

從2007年到2021年的TOP500技術佔比圖可以看到，自2015年起，25G及更高速率的乙太網路迅速崛起，成為行業新寵，一度壓制了InfiniBand的發展。

2019年，輝達以69億美元成功收購了Mellanox，擊敗了分別出價60億和55億美元的對手英特爾和微軟。輝達CEO黃仁勳解釋了收購的原因：“這是兩家全球領先高性能計算公司的結合，我們專注於加速計算，而Mellanox專注於互聯和儲存。” 這一決策被證明是非常有遠見的。隨著AIGC大模型的崛起，社會對高性能計算和智能計算的需求激增。要滿足如此龐大的算力需求，必須依賴高性能計算叢集，而在這方面，InfiniBand憑藉其卓越的性能成為首選。輝達將其GPU算力優勢與Mellanox的網路優勢結合，打造了一個強大的“算力引擎”，在算力基礎設施上佔據了領先地位。

如今，高性能網路的競爭主要在InfiniBand和高速乙太網路之間展開，雙方勢均力敵。不差錢的廠商更多會選擇InfiniBand，而追求性價比的則傾向於高速乙太網路。其他技術，如IBM的BlueGene、Cray和Intel的OmniPath，基本屬於第二陣營。

介紹完InfiniBand的發展歷程，我們再來看看它的工作原理，為什麼它比傳統乙太網路更強。InfiniBand的一個顯著優勢是率先引入了RDMA（Remote Direct Memory Access，遠端直接記憶體訪問）。

在傳統TCP/IP中，網路卡的資料先複製到核心記憶體，再複製到應用儲存空間，或從應用空間複製到核心記憶體，然後經由網路卡傳送到網際網路。這種I/O操作方式需要經過核心記憶體的轉換，增加了資料流傳輸路徑的長度，增加了CPU的負擔，也增加了傳輸延遲。而RDMA消除了這些中間環節，允許應用與網路卡之間直接進行資料讀寫，將伺服器內的資料傳輸時延降低到接近1微秒。同時，RDMA的記憶體零複製機制允許接收端直接從傳送端的記憶體讀取資料，繞過核心記憶體的參與，極大減少了CPU的負擔，提高了CPU的效率。可以說，RDMA是InfiniBand迅速崛起的重要原因。

從InfiniBand的網路拓撲結構中可以看出，InfiniBand是一種基於通道的結構，組成單元主要分為四類，分別是HCA（Host Channel Adapter，主機通道介面卡），TCA（Target Channel Adapter，目標通道介面卡），InfiniBand link，也稱連接通道，可以是電纜或光纖，也可以是板上鏈路，以及組網用的InfiniBand交換機和路由器。通道介面卡就是搭建InfiniBand通道用的，所有傳輸均以通道介面卡開始或者結束，從而確保安全，或者在給定的QoS等級下工作。使用InfiniBand的系統可以由多個子網組成，每個子網最大可由6萬多個節點組成，子網內部由InfiniBand交換機進行二層處理，而子網之間則使用路由器或網橋進行連接。InfiniBand的二層處理過程也非常簡單，每個InfiniBand子網都會設一個子網管理器，生成16位的本地識別碼LID。InfiniBand交換機包含了多個InfiniBand連接埠，並且根據第二層本地路由標頭中包含的LID，將封包從其中一個連接埠轉發到另一個連接埠。除了管理封包外，交換機不會消耗或生成任何封包。簡單的處理過程，加上自有的Cut-Through技術，InfiniBand將轉發時延大幅降低至100ns以下，明顯快於傳統的乙太網路交換機。

在InfiniBand網路中，資料同樣採用序列方式，以最大4KB的封包形式進行傳輸。InfiniBand協議同樣採用了分層結構，各層相互獨立，下層為上層提供服務。其中，物理層定義了線上路上如何將位元訊號組成符號，然後再組成幀、資料符號以及包之間的資料填充等等，詳細說明了建構有效包的信令協議等。鏈路層定義了封包的格式以及封包操作的協議，比如流控、路由選擇、編碼、解碼等。網路層通過在封包上新增一個40字節的全域的路由報頭GRH，來進行路由的選擇，對資料進行轉發。在轉發的過程中，路由器僅僅進行可變的CRC校驗，這樣就保證了端到端的資料傳輸的完整性。傳輸層再將封包傳送到某個指定的QP，也就是Queen Pair中，並指示QP該如何處理這個封包。可以看出，InfiniBand擁有自己定義的1-4層格式，是一個完整的網路協議。

而端到端的流量控制，是InfiniBand網路封包傳送和接收的基礎，可以實現無損網路。說到QP，我們需要多提幾句。它是RDMA技術中通訊的基本單元。QP，也叫佇列，就是一對佇列，包括傳送工作佇列SQ，Send Queue和接收工作佇列RQ，Receive Queue。使用者呼叫API傳送接收資料的時候，實際上是將資料放入QP當中，然後以輪詢的方式，將QP中的請求一條條的處理。InfiniBand物理鏈路可以用銅纜或光纜，針對不同的連接場景，也可能需要使用專用的InfiniBand線纜。

InfiniBand在物理層定義了多種鏈路速度，例如1X，4X，12X，每個單獨的鏈路是四線序列差分連接。以早期的單資料速率SDR規範為例，1X鏈路的原始訊號頻寬為2.5Gbps，4X鏈路是10Gbps，12X鏈路是30Gbps。因為採用了8b/10b編碼，所以1X鏈路的實際資料頻寬為2.0Gbps。由於鏈路是雙向的，因此相對於匯流排的總頻寬是4Gbps。

隨著時間的推移，InfiniBand的網路頻寬不斷升級，從早期的SDR、DDR、QDR、FDR、EDR、HDR，一路升級到NDR、XDR、GDR。最後，我們再來看看市面上的InfiniBand商用產品。

輝達收購Mellanox之後，於2021年推出了自己的第七代NVIDIA InfiniBand架構——NVIDIA Quantum-2，整個平台包括NVIDIA Quantum-2系列交換機、NVIDIA ConnectX-7 InfiniBand介面卡、BlueField-3 InfiniBand DPU，以及相關的軟體。其中NVIDIA Quantum-2系列交換機採用了緊湊型的1U設計，包括風冷和液冷版本。交換機的晶片製程工藝呢為7納米，單晶片呢擁有570億個電晶體，比A100的GPU呢還多，採用了64個400 Gbps連接埠，或者是128個200 Gbps連接埠的靈活搭配，提供總計51.2T bps的雙向吞吐量。NVIDIA ConnectX-7 InfiniBand介面卡，支援PCIe Gen4和Gen5，具有多種外形規格，可以提供400Gbps的單或雙網路連接埠。

根據行業機構的預測到2029年，InfiniBand的市場規模將達到983.7億美元，相比於2021年的66.6億美元增長14.7倍，在預測期2021-2029內的復合年增長率為40%。好了今天，我們簡單地回顧了一下InfiniBand的發展歷史和基本原理，相信在高性能計算和人工智慧計算的強力推動下，infiniband的發展前景還是令人非常期待的。究竟他和乙太網路誰能笑到最後，還需要時間來告訴我們答案，我們下期再見。 (那個曾經的少年回來了)

Nvidia 正在準備該公司的GeForce RTX 50 系列(Blackwell) 產品，以與最好的顯示卡競爭。雖然上市日期尚未確定，但著名硬體洩密者@kopite7kimi 聲稱，根據他的訊息，Blackwell系列的記憶體介面配置不會與Ada Lovelace系列有太大差異。既然這是洩漏，請持保留態度。我們從先前發布的一些洩密資訊中了解到，該公司計劃在其基於Blackwell 架構的下一代頂級GB202 GPU 中保留384 位元記憶體總線。

Nvidia 的Blackwell 可能是該公司第一個支援GDDR7記憶體的系列，與現有的GDDR6和GDDR6X記憶體解決方案相比，其更高的資料傳輸速率和架構特性有望顯著提高效能。鑑於第一代GDDR7 SGRAM IC 將具有32 GT/s 的資料傳輸速率，採用這些晶片的384 位元記憶體子系統將提供約1,536 GB/s 的頻寬，因此512 位元記憶體介面是不容錯過的。

雖然我對512位元還抱有幻想，但GB20x的記憶體介面配置和AD10x沒有太大差別。

2024 年3 月9 日，美光錶示16 Gb 和24 Gb GDDR7晶片將於2025 年上市，但其路線圖並未顯示這些設備是否會同時推出，還是16 Gb 會更早推出。也就是說，仍有待觀察的是Nvidia 是否會在其最初的GeForce RTX 50 系列顯示卡中使用16 Gb 還是24 Gb GDDR7 記憶體IC。

由於輝達的Blackwell家族至少還有兩到四分之三的時間，現在很難做出預測。然而，我們在表中概述了GB200系列供電產品的可能記憶體配置。

在迄今為止的幾代產品中，Nvidia 的頂級消費性顯示卡均使用384 位元記憶體介面（AD102、GA102），事實證明，從效能和成本的角度來看，該介面是最佳的。Nvidia 頂級消費性圖形產品的精簡版採用320 位元記憶體接口，而高階GPU 則採用256 位元匯流排（例如AD103、GA103 和GA104）。同時，效能主流段也有採用192位元記憶體匯流排的GPU（如AD104、GA106）及主流段採用128位元記憶體介面的GPU（如AD106、AD107、GA107）。

雖然洩密者的評論表明Blackwell系列將在很大程度上保留當前Ada Lovelace系列的記憶體介面配置，但應該記住，根據同一洩密者，Blackwell 系列將缺少GB204 GPU。相較之下，傳聞中的GB205很可能不會直接繼承AD104。

如果您認為Nvidia 的700W H100 是又熱又耗電的機器，那就等到今年稍後的B100 GPU上市吧。

戴爾科技集團營運長傑夫克拉克(Jeff Clarke) 表示，Nvidia 最新的AI 加速器的功耗將達到1,000 瓦，比其前身高出42%。但別擔心，他非常確定馴服這頭野獸不需要液體冷卻。

克拉克上週在戴爾財報電話會議上對投資者表示：「我們對H200 所發生的事情及其性能改進感到興奮。」他補充說，他對Nvidia 即將推出的B100 加速器和另一個他稱為B200 的加速器也有同樣的感受。。

他認為，處理每個功耗1,000 瓦的GPU 不需要直接液體冷卻——他說「明年B200 就會達到這一水平」。

目前還不完全清楚Clarke 所指的「B200」卡是什麼，因為去年秋天輝達與投資者分享的路線圖上沒有出現該名稱的晶片。然而，我們懷疑Clarke 實際上指的是GB200 Superchip，它與GH200一樣，預計將Nvidia 的Grace CPU 與其B100 GPU 結合起來。

根據我們對GH200 中Grace CPU 的了解，並假設功耗沒有重大變化，GB200 的熱設計功耗(TDP) 約為1,300 瓦，比其前身高出30%。

輝達也可能還有另一張我們還不知道的牌。這家GPU 巨頭的下一代Blackwell 架構的細節仍然很少。

除了命名之外，克拉克表示即將推出的晶片將提供一個機會來大規模展示戴爾在其他形式的液體冷卻方面的專業知識。他提到「流體化學和性能、我們的互連工作、我們正在做的遙測、我們正在做的電源管理工作」作為直接液體冷卻替代方案的步驟，即使對於非常密集的晶片也是如此。

在Nvidia 的頻寬使H200 GPU 在今年上半年首次亮相後，B100 預計要到2024 年底才會推出。

H200 於2023 年底發布，是H100 的更新版，配備高達141GB 的HBM3e 內存，可實現高達4.8TB/秒的頻寬。Nvidia聲稱，由於該晶片的HBM3e 記憶體堆疊，該裝置可以使包括Llama 70B 在內的大型語言模型的效能提高一倍。

分析師警告稱，即使今年有兩款新的加速器上市，Nvidia 的GPU 供應仍將受到限制。儘管有通報預測Nvidia 的GPU 出貨量可能會在2024 年增加三倍以上。

除了新的加速器之外，Nvidia 的路線圖還要求在今年年底前推出速度更快、更強大的InfiniBand 和乙太網路NIC 以及交換機，每個連接埠的頻寬可達800Gb/秒。（半導體產業觀察）

彙整鉅亨號中所有使用「InfiniBand」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

10萬個輝達H100 GPU晶片成本超過290億，算力到底被誰卡了“脖子”？

輝達押注InfiniBand：萬億市值背後的秘密武器

輝達下一代GPU，更多細節曝光