•
輝達狂賣50萬台GPU！AI爆火背後，是顯示卡的爭奪
【導讀】據統計，英偉達（輝達）在第三季度大約賣出了50萬台H100和A100 GPU，大語言模型爆火的背後，是眾組織機構對GPU的爭奪，是英偉達近千噸的顯卡出貨量。
根據市場追蹤公司Omdia的統計分析，英偉達在第三季大約賣出了50萬台H100和A100 GPU！
此前，Omdia透過英偉達第二季的銷售額，估計其大概賣出了900噸GPU！
大語言模型火熱的背後，英偉達建立起了強大的顯卡帝國。
在人工智慧的大潮之下，GPU成為了各機構、公司，甚至是國家在全球爭奪的對象。
在本財年第三季度，Nvidia在資料中心硬體上獲得了145億美元的收入，比去年同期幾乎翻了兩番。
——這顯然得益於隨著人工智慧和高效能運算（HPC）的發展而變得炙手可熱的H100 GPU。
市場追蹤公司Omdia表示，Nvidia售出了近50萬個A100和H100 GPU，龐大的需求量也導致了，基於H100的伺服器需要36~52週的時間才能交付。
從上圖可以看出，Meta和微軟是最大買家。它們各自採購了多達15萬個H100 GPU，大大超過了谷歌、亞馬遜、甲骨文和騰訊採購的數量（各5萬個）。
值得注意的是，大多數伺服器GPU都供應給了超大規模雲端服務供應商。而伺服器原始設備製造商（如戴爾、聯想、HPE）目前還無法取得足夠的AI和HPC GPU。
Omdia預計，到2023年第四季，Nvidia的H100和A100 GPU的銷售量將超過50萬台。
不過，幾乎所有大量採購Nvidia H100 GPU的公司都在為人工智慧、HPC和視訊工作負載開發客製化自己的晶片。
因此，隨著他們轉向使用自己的晶片，對Nvidia硬體的採購量可能會逐漸減少。
上圖統計了伺服器的情況，2023年伺服器出貨量年減了17%到20%，而伺服器收入則較去年同期上漲了6%到8%。
Omdia雲端與資料中心研究實踐總監Vlad Galabov和資料中心運算與網路首席分析師Manoj Sukumaran預計，到2027年，伺服器市場價值將達到1956億美元，比十年前翻倍多。
隨著大公司紛紛轉向超異質運算，或使用多協處理器來最佳化伺服器配置，伺服器處理器和協處理器的需求將持續成長。
目前，就運行人工智慧訓練和推理的伺服器而言，用於大型語言模型訓練的最受歡迎伺服器是配置了8個H100/A100 GPU的Nvidia DGX伺服器，以及亞馬遜的配置了16個客製化協處理器（ Inferentia 2）的AI推理伺服器。
而對於配備了許多客製化協處理器的視訊轉碼伺服器，最受歡迎的是擁有20個VCU（視訊編碼單元）的Google視訊轉碼伺服器，以及使用了12個可擴充視訊處理器的Meta視訊處理伺服器。
隨著一些應用的需求逐漸成熟，建構優化客製化處理器的成本效益會越來越高。
媒體和人工智慧會是超異質運算的早期受益者，之後資料庫和網路服務等其他工作負載也會出現類似的最佳化。
Omdia的報告指出，高度配置的人工智慧伺服器的增加正在推動資料中心實體基礎設施的發展。
例如，今年上半年的機架配電收入比去年增長了17%，在需要液體冷卻解決方案的趨勢之下，數據機櫃熱管理收入預計將在2023年實現17%的成長。
另外，隨著生成式人工智慧服務的普及，企業將廣泛採用AI，而當前人工智慧部署速度的瓶頸可能是電力供應。
熱情的買家們
除了上述的巨頭們，「民間」也有各種組織和公司紛紛採購NVIDIA的H100，以發展自己的業務，或投資未來。
Bit Digital是一家提供數位資產和雲端運算服務的永續數位基礎設施平台，總部位於紐約。本公司已與客戶簽訂條款，開展Bit Digital AI業務，為客戶的GPU加速工作負載提供支援。
根據協議，Bit Digital將為客戶提供最少1024個、最多4096個GPU的租賃服務。
同時，Bit Digital公司已同意購買1056塊NVIDIA H100 GPU，並已支付了首筆訂金。
由美國公司Del Complex創建的BlueSea Frontier Compute Cluster（BSFCC）本質上是一艘巨大的駁船，包含10000個Nvidia H100 GPU，總價值5億美元。
根據路透社報道，一家名為Voltage Park的非營利組織以5億美元的價格收購了24,000個Nvidia H100晶片。
Volatage Park是一家人工智慧雲端運算組織，由億萬富翁Jed McCaleb資助，計劃為人工智慧專案租賃運算能力。
Voltage Park提供的GPU價格低至每GPU每小時1.89美元。按需租賃的客戶可以租用1到8個GPU，希望租用更多GPU的用戶則需要保證一定的租賃期限。
與之相比，亞馬遜透過8台H100的P5節點為用戶提供隨選服務，但價格要貴得多。
以8卡的節點來計算，AWS的收費為每小時98.32美元，而Voltage Park的收費為每小時15.12美元。
在人工智慧的熱潮之下，英偉達也是雄心勃勃。
根據英國《金融時報》報道，這家矽谷晶片巨頭希望提高H100處理器的產量，目標是明年出貨150萬至200萬台。
由於ChatGPT等大型語言模型的爆火，今年5月，Nvidia市值飆升，成功躋身萬億美元俱樂部。
作為開發大型語言模型的基礎組件，GPU成為了人工智慧公司，甚至是國家在全球範圍內爭奪的對象。
《金融時報》稱，沙烏地阿拉伯和阿聯酋已經購買了數千台英偉達的H100處理器。
同時，有富裕資金的創投公司，也忙著為投資組合中的新創公司購買GPU，以建立自己的人工智慧模式。
GitHub前執行長Nat Friedman和Daniel Gross曾支持GitHub、Uber和其他許多成功的新創公司，他們購買了數千個GPU，並建立了自己的人工智慧雲端服務。
這個名為仙女座集群（Andromeda Cluster）的系統，擁有2512個H100 GPU，能夠在大約10天內訓練出一個650億參數的人工智慧模型。雖然不是目前最大的模型，但也相當可觀。
儘管只有兩位投資人支持的新創企業，才能使用這些資源。此舉還是受到了好評。
Anthropic的共同創辦人Jack Clark表示，個人投資者在支持計算密集型新創公司所做的工作超過了大多數政府。
相較於第三季的145億，第二季度，Nvidia售出了價值103億美元的資料中心硬體。
對於這個成績，Omdia曾作出估計：一個帶有散熱器的Nvidia H100計算GPU的平均重量超過3公斤（6.6 磅），而Nvidia在第二季度出貨了超過30萬台H100，算下來總重量超過900噸（180 萬磅）。
讓我們把這900噸具象化一點，它相當於：
4.5架波音747
11架太空梭軌道飛行器
215827加侖水
299輛福特F150
181818台PlayStation 5s
32727隻黃金獵犬
有網友對此表示：
不過也有媒體覺得這個估計不太準。因為Nvidia H100有三種不同的外形，重量也各不相同。
Nvidia H100 PCIe顯示卡重1.2公斤，而帶散熱片的OAM模組的最高重量為2公斤。
假設Nvidia H100出貨量的80%是模組，20%是顯示卡，那麼單一H100的平均重量約為1.84公斤左右。
不管怎樣吧，這都是一個驚人的數字。而且英偉達在第三季的銷售量是顯著成長的，如果依照50萬塊GPU每塊2公斤，那麼總重量就是1000噸。
——現在的顯示卡都是用噸賣的了，不知道大家怎麼看？（新智元）
參考資料：
https://www.tomshardware.com/tech-industry/nvidia-ai-and-hpc-gpu-sales-reportedly-approached-half-a-million-units-in-q3-thanks-to-meta-facebook