【導讀】10萬塊液冷H100正式開工，馬斯克19天建成世界最強AI訓練叢集。

凌晨4:20，大洋彼岸的最大超算訓練叢集開始轟鳴。

「420」也是馬斯克最喜歡玩的梗，象徵著自由、不受約束和反傳統。

馬斯克頻繁把「420」用在他的產品定價，公司開會時間和星艦一發射時間上等等。

網友也在評論區打趣馬斯克超絕儀式感，不到4:20不開工。

在最新採訪中，馬斯克透露了更多關於新建超算和xAI模型進展：

- Grok 2上個月完成了訓練，大約用了15K H100

- Grok 2將於下個月發佈，與GPT-4相當- Grok 3正在新建10萬塊液冷H100超算上，開始訓練- 預計Grok 3將在12月發佈，「屆時將成為世界上最強大的人工智慧」

值得注意的是，這個全球最大的超算叢集，大就大在擁有10萬塊H100，還是液冷的那種。

價格上來看，H100 GPU作為AI的關鍵元件、矽谷的熱門商品，據估計每塊成本在3萬到4萬美元之間，10萬塊H100就是一筆40億的大單。

而在全美TOP 5的高校機器學習博士曾發帖說，實驗室H100數量為0，要用GPU得靠搶。

李飛飛也在採訪裡表示，斯坦福的自然語言處理小組只有64塊A100 GPU。

而馬斯克一出手就是10萬塊，這個數字令評論區垂涎欲滴。

算力上來看，算力大約是OpenAI用於訓練GPT4的25000塊A100的20倍左右。

耗電上來看，僅僅是讓這個超級計算中心維持運轉，所需要的電力總功率就達到70MW，相當於這是一座普通電廠的裝機容量，可滿足20萬人的能源需求。

今年5月，馬斯克就曾表示，希望在2025年秋季前建成「超算工廠」。

現在看來，為了加速超級叢集的建設，他選擇了購買當前一代的H100 GPU，而不是等待新一代的H200或其他即將推出的基於Blackwell的B100和B200 GPU。

儘管市場預期Nvidia的新Blackwell資料中心GPU將在2024年底前上市，馬斯克顯然沒有耐心等待。

當前AI軍備競賽越發火熱，唯快不破，誰能最快地推出產品就能迅速佔領市場。

xAI作為一家初創公司，更是要是與其他巨頭之戰中先聲奪人。

在之前，馬斯克與甲骨文的百億大單就談崩了，馬斯克嫌棄甲骨文速度太慢，認為對方沒有以可行的速度建構計算叢集。

而甲骨文則覺得xAI建超算選址承擔不了電力的需求，隨著百億訂單的談判破裂， xAI和甲骨文停止了討論擴大現有合作的可能性。

xAI只得田納西州孟菲斯市建設自己的人工智慧資料中心，與甲骨文的合作破裂意味著xAI要自己動手單干，通過10萬塊H100建構獨立的資料中心，以擺脫甲骨文等雲提供商能力的限制。

馬斯克自己也表示，xAI擁有世界最強的AI訓練叢集，可謂遙遙領先。

在馬斯克最新一則採訪中，披露了建立超算的一些細節。

據大孟菲斯商會（Greater Memphis Chamber）主席Ted Townsend透露，馬斯克只花了大約一週的時間就決定將xAI的新超級電腦建造在孟菲斯。

Townsend說，經過3月份的幾天旋風式談判之後，馬斯克和他的團隊選擇了田納西州的這座城市，因為這裡有充足的電力和快速建設的能力。

並且，僅僅花費了19天超算中心就建造完成，馬斯克也在推文中讚揚了團隊優秀的工作。

Supermicro公司也為xAI提供了大部分硬體支援，其CEO Charles Liang也在馬斯克的推文下發表了評論，讚揚了團隊的執行能力。

如此之大的訓練叢集，目的就是為了訓練Grok 3。

本月初，馬斯克就宣佈8月底推出Grok 2，在Grok-2尚未發佈的情況下，馬斯克也透露了Grok-3的部分細節，為最強模型Grok 3造勢。

馬斯克在今年4月接受挪威主權基金負責人Nicolai Tangen採訪時說，Grok 2需要大約2萬張H100來進行訓練。

Grok 3將於年底發佈，可以預見，基於10萬個GPU訓練的Grok 3性能方面將比Grok 2更上一層樓。

如此巨大的超算中心，自然需要大量人才和技術的支援，馬斯克也繼續在推特上招兵買馬，讓資料優勢、人才優勢和算力優勢全部擴張到極致。

在過去十年中，AMD 重新涉足資料中心領域，福雷斯特·諾羅德 (Forrest Norrod) 擔任資料中心業務總經理，對 AMD 來說是一筆無價的財富。諾羅德曾在 Cyrix 從事 X86 處理器工作，並在惠普擔任開發工程師，之後在戴爾負責定製伺服器業務多年。

在有關即將於 2024 年台北國際電腦展上推出的“Turin” Epyc 伺服器 CPU 和 Instinct GPU 路線圖的消息曝光之後，我們與 Norrod 就當今資料中心的 CPU 和 GPU 市場進行了一次有趣的交談。

我們討論了 Arm 伺服器 CPU 的競爭威脅，並開玩笑說如果 AMD 決定克隆 Nvidia GPU，以便能夠運行整個 Nvidia 軟體堆疊，從而消除採用 AMD GPU 的主要障礙，那麼將引發訴訟。但這並不是談話的真正嚴肅部分。

真正嚴肅的是討論資料中心對非常強大的 CPU 和 GPU 的需求，以及為什麼對計算引擎容量的需求如此強烈，而且隨著時間的推移，需求甚至越來越大。以及如何購買強大的 CPU 可以為基於 GPU 的 AI 系統在資料中心騰出空間和電力。

Timothy Prickett Morgan：兩周前，英特爾發佈了首款“Sierra Forest”至強 6 CPU，而您透露了未來“Turin”系列 Epyc CPU。在我看來，除非英特爾在工藝和封裝方面與台灣半導體製造公司相差無幾，否則他們無法在 CPU 上趕上您。在 2025 年或 2026 年之前，情況真的這麼簡單嗎？

Forrest Norrod：我不想限制英特爾在工藝方面的能力。Pat Gelsinger 有一個非常積極的計畫，我們總是認為他們會說到做到。因此，我們所能做的就是儘可能快地利用台積電的設計和工藝。

我真的很喜歡我們與台積電合作的機會。我認為他們是一個了不起的合作夥伴，也是一台了不起的執行機器，我們將繼續使用他們每一代最先進的工藝。我喜歡我們有機會保持工藝的前沿。

同樣，在設計方面，我們一點兒也沒有放慢腳步。我們正儘可能地加快速度。您將繼續看到我們在所有產品線上的設計創新、封裝和組裝創新。我無法控制英特爾會做什麼。我只能假設他們明天醒來時會穿上硬漢靴子，拿著斬首劍戰鬥。我必須假設英特爾從今天起將始終盡其所能。

TPM：去年我們在 The Next Platform 上討論的主題之一是，隨著超大規模計算和雲建構者開發自己的 ARM 處理器，他們將建立第二個成本更低的計算帶。正如我們在大型機之後看到的專有小型電腦，然後是 Unix 機器，然後是 X86 伺服器。當然，仍有數千萬客戶將長期使用 X86 機器，就像有成千上萬的客戶使用大型、昂貴、笨重的大型機一樣。

我們的觀察是，這些價格區間是分開的，它們彼此之間保持相對相同的距離，並從切入點開始遵循摩爾定律曲線。這意味著在 2020 年代中期，X86 將成為下一個傳統平台，而 Arm 將成為新的後起之秀，也許有一天 RISC-V 將成為新的後起之秀，而 Arm 將成為下一個傳統平台。

您認為這對已經發生和正在發生的事情的描述精準嗎？

Forrest Norrod：這是可能的一種結果。歸根結底，即使是內部性能，問題也是：Arm 能否在性價比和每瓦性能方面足夠接近並保持足夠接近，正如大型資料中心及其最終客戶所看到的那樣，從而證明繼續投資自己的晶片是合理的？因為唯一有意義的原因是，如果你能達到並保持這一點。

我之前曾向你提出過這樣的觀察，即 CPU 的價格是伺服器價格的 25% 到 30%。如果 CPU 比替代方案慢 25%，那麼即使它是免費的也沒關係，因為你在系統層面上損失了 TCO。順便說一句，這接近我們談論的障礙。Arm 或替代方案的性能必須比替代方案高出 20% 到 25%，或者成本要低得多，否則就沒有足夠的空間來實現真正的 TCO。

現在，您可能仍會出於其他原因這樣做 — — 您可能仍會因為害怕錯過、為了有替代方案、為了保持英特爾和 AMD 的誠實而這樣做。

TPM：我想向您提出另一個觀察結果。長期以來，大多數伺服器買家都購買中檔部件，而遠離高端部件，甚至遠離高端部件的低端和中檔部件的上端。

如果我的資料中心面臨空間和電力限制，並且我擁有大量基於 X86 的通用基礎設施伺服器，我會購買 N-2 或 N-3 個部件，有時甚至購買 N-1 個部件，並嘗試節省每個核心的電力，並將節省的電力用於 AI 項目。我還會讓機器在現場使用五、六或七年，這也需要購買更高等級的 CPU。

Forrest Norrod：我完全同意你剛才所說的一切。如果你看看企業方面，就會發現這種情況已經開始發生。順便說一句，這正是雲端長期以來一直在發生的事情。例如，在 AMD，我們向雲端傳輸量最大的部分是我們最高端的部分。多年來一直如此。

另一個原因被低估了，那就是小晶片完全顛覆了管理堆疊成本的舊假設。這些小晶片的良率非常高。我們的 96 核“熱Genoa”——我們甚至不談論“Bergamo”，讓我們保持簡單——與 64 核和 32 核相比，絕大部分成本只是幾個 CCD 不同。就是這樣。其他一切都一樣。

TPM： 嗯，不是給客戶的價格。。。[笑聲]

Forrest Norrod：現在，當英特爾使用單片晶片時，情況完全不是這樣。生產 64 核“Emerald Rapids”或 60 核“Sapphire Rapids”或 40 核“Ice Lake”就像找到母雞的牙齒一樣困難。因此，英特爾的容量箱向下移動了好幾步。但對我們來說，長期以來，我們的絕大部分容量（當然是在雲端）都是頂部箱部分。

在企業方面，我們確實看到人們開始朝這個方向發展，特別是迫切需要為人工智慧釋放空間和電力，我們確實看到人們對整合更加關注。

發生的另一件事是 VMware 的新定價策略，市場對此反應不一。VMware 定價現已完全轉向按核心許可證定價，因此不再有購買低端部件的動機。公司過去必須購買一個最多 32 個核心的許可證，然後如果從 33 個核心增加到 64 個核心，則需要購買另一個許可證，依此類推。如果 VMware 只是按核心收費，那麼在一台伺服器上購買更多核心比在多台伺服器上分配相同數量的核心更便宜。

TPM： 讓我們轉而討論 UALink 以及企業對規模適中、性能適中的 AI 叢集的需求。

當我想到為企業（而非超大規模企業和雲建構者）建構的 AI 系統以及它們可能在生產中部署的模型大小時，超大規模企業和雲在幾年前建構的用於處理數百億個參數的叢集聚合性能將足夠好，因為它們將使用預訓練模型並對其進行重新訓練或增強。與 AI 巨頭在推動通用人工智慧時嘗試做的相比，企業的資料集相當小，參數需求也更適中。

這是對企業未來發展的一個合理預測嗎？

Forrest Norrod：你知道，老實說，我不確定。我會告訴你，我認識的一些人和我非常尊重的人完全同意你的觀點。我知道我非常尊重的其他人則認為——不可能。他們說，隨著模型越來越大，模型的能力會不斷增強。它體現在更細緻入微的推理和處理情況的能力上。

這就是雙方的觀點。打個比方：如今並非所有工作都需要高學歷，人工智慧也是如此。許多工作可以在低得多的水平上得到增強或自動化。

TPM： 您認為世界是否可以製造足夠的 GPU 來應對第二種情況，即每個人都想要具有大量參數的大型模型？

Forrest Norrod：我認為是這樣。因為，坦率地說，即使對於你談論的最大的模型，我也很難看到比幾個機架更大的推理模型。最壞的情況。而且我認為，因為有這樣的激勵，絕大多數甚至最大的模型都將適合一個節點進行推理。

但正在考慮的一些訓練叢集確實令人難以置信……

TPM：有人認真考慮過的最大的 AI 訓練叢集是什麼——你不必說出名字。有人來找你並說有了 MI500，我需要 120 萬個 GPU 或什麼的嗎？

Forrest Norrod：是在這個範圍內嗎？是的。

TPM： 你不能只是說“它在這個範圍內”。最大的實際數字是多少？

Forrest Norrod：我非常認真，它就在那個範圍內。

Forrest Norrod：是的，我說的是一台機器。

TPM： 這有點讓人難以置信，你知道嗎？

Forrest Norrod：我明白。他們所考慮的事情規模令人震驚。現在，所有這些都會實現嗎？我不知道。但有公開報導稱，非常清醒的人正在考慮花費數百億美元甚至一千億美元用於培訓叢集。

TPM： 讓我在這裡稍微控制一下。AMD 在資料中心的 CPU 出貨量中所佔份額已超過 30%，並且還在增長。AMD 什麼時候才能達到 30% 的 GPU 份額？GPU 份額的增長會更快嗎？我認為可能會。MI300 是你們歷史上增長最快的產品，因此這就引出了一個問題：你們是否能在獲得 CPU 份額所需時間的一半內實現 GPU 份額的增長。或者現在追趕 Nvidia 實在是太難了，因為他們擁有比其他任何人都多的 CoWoS 封裝和 HBM 記憶體。

您可以對 Nvidia GPU 進行一個與錯誤相容的克隆。...

Forrest Norrod：聽著，我們會儘可能快地開展我們的工作。我們的工作重點是儘量減少採用過程中的摩擦，看看視訊，這是默認的在位者。所以這是人們到目前為止進行的任何對話中的默認做法。所以我們必須儘量減少採用我們技術的摩擦。我們不能完全按照你的建議去做。

TPM：這將是一場精彩的訴訟，Forrest 。我們都會玩得很開心……

Forrest Norrod：我不確定我們對樂趣、TPM 的定義是否相同。

TPM：樂趣是以一種令人恐懼的方式令人興奮。

Forrest Norrod：但說真的，我們將繼續在軟體方面取得進展。我們渴望繼續在硬體方面取得進展。我對硬體非常滿意，對軟體路線圖也非常滿意——特別是因為我們有許多非常大的客戶在幫助我們。顯然，推廣替代方案並為自己獲得差異化產品符合他們的最佳利益。因此，我們將儘可能地利用開放生態系統的力量，並儘可能快地發展它。  (半導體行業觀察)

彙整鉅亨號中所有使用「AI叢集」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

馬斯克19天建成世界最強AI叢集！10萬塊H100「液冷怪獸」即將覺醒

AMD高管透露：未來的叢集難以置信，對GPU需求巨大