•
輝達3個月賣出800噸H100！老黃竟自曝萬億GPU霸主「三無」策略
【導讀】有分析公司算出來，才三個月英偉達（輝達）就賣出了800多噸H100。然而市值已超萬億的英偉達，竟是一個「無計劃、無匯報、無層級」的公司。
僅在今年第二季度，英偉達就已經賣出了816噸H100！
假如這個速度不變，它有望在今年賣出3,266噸H100。並且，在接下來的每年裡，英偉達都會賣出120萬張H100。
現在，雲服務供應商的大規模H100集群容量即將耗盡，全球陷入GPU短缺，矽谷大佬們都急了——整體算來，全球公司需要約432000張H100。
最近同時大火的，還有黃仁勳管理英偉達的方法。
「沒有計劃、沒有匯報、沒有層級」，如此隨性，如此佛系，甚至可以說，如此瘋狂。
就是這種管理辦法，讓英偉達市值超過1萬億，在半導體公司中一時風頭無兩。
半導體巨人
英偉達聲稱，在2024財年第二季度，他們售出了價值103億美元的數據中心硬件。
價值103億美元是什麼概念？
今天，市場研究公司Omdia給出了讓我們更容易理解的單位——816噸H100！
根據Omdia估計，第二季度英偉達的H100 GPU出貨量超過了816噸。
一個英偉達H100 GPU，再加上散熱器，平均重量超過了3公斤，因此，第二季度的H100發貨量，保守估計也有30萬個。
Omdia的估算準確嗎？
要知道，H100有三種不同的外形尺寸，重量也不盡相同。
H100 PCIe顯卡重達1.2千克，H100 SXM模組的重量尚不清楚，而帶散熱片的OAM模組重量可達2千克，它與H100 SXM的尺寸和TDP大致相同。
假設H100出貨量80%是模組，20%是顯卡，那麼單個H100的平均重量應為1.84千克左右。
所以，Omida的估算可以認為大致準確。當然，實際重量可能少於816噸這個數字。
816噸是多重？
為了便於理解這個重量，我們可以拿以下這些東西來類比——
4.5架波音747
11架太空梭
181,818台PlayStation 5
32,727隻金毛
假如英偉達在未來幾個季度保持相同的GPU銷量，那麼它有望在今年售出3,266噸H100。
假如這個速度保持不變，每年英偉達都會賣出120萬個H100。
並且，還不止這些。
還有H800，以及上一代的A100、A800、A30。
這樣算的話，英偉達每季度實際銷售的GPU數量遠遠高於30萬個，重量總計遠超過816噸。
即便如此，仍然不能滿足全球的GPU荒——根據行業內部消息，英偉達H100 2023年的產量，早已銷售一空，現在交錢訂購，至少要到2024年中才能拿到貨。
現在，H100早已一卡難求。
甚至還有外媒爆料：英偉達要在2024年，將H100的產量從今年的50萬張左右直接提高到150-200萬張。
顯然，隨著英偉達芯片在生成式AI的熱潮中愈加緊俏，這個預測並不誇張。
黃仁勳「第一性原理」
與此同時，GPU的銷量暴漲，也讓英偉達成為了世界算力霸主，成功進入萬億美元俱樂部。
這背後離不開領導人黃仁勳的「瘋狂式」的管理策略。
老黃表示，當你創立一家公司時，很自然地從第一性原理開始。
「就像我們正在建造一台機器如何運作一樣，什麼是輸入，什麼是輸出，處在什麼條件下，行業標準又是什麼.....」
用老黃的話來說，英偉達的使命是，解決世界那些幾乎不可能的計算問題。如果一個問題可以由普通的電腦解決，英偉達就會不做。
為了實現這一使命，英偉達吸引很多很多出色的人才，聚集在一起。
同時還需要，老黃管理這些人才的頂級策略，具體包括：
直接管理40名下屬，沒有1:1會議
英偉達不需要「金字塔」式的管理，而是將權力下放給每一個人。
老黃信奉扁平化的組織最富有能力，以便信息能夠快速傳播。
其中，組織的第一層——公司高層，就必須要考慮更加周全。他從不向任何人高管提供職業建議，因為管理團隊中沒有人來向他尋求職業建議。
「他們已經成功了，他們做得很好」。
另外，老黃從不進行1對1會議，所有事情都在小組討論中進行。
「如果你有一個戰略方向，為什麼只告訴一個人？應該讓每個人都知道」。
每個人都能隨時了解所有情況
在公司內部，從來都不會召開副總裁會議、總監會議。
老黃稱，自己參加的會議裡，有來自不同組織的人，剛剛畢業的大學生，任何人都可以參加並發表意見。
不做狀態報告，而是email「前五件事情」
在英偉達，每個人都不需要做狀態報告，因為老黃認為這像是「元資訊」，太過精煉，基本上沒有有益的訊息。
相反，公司裡的任何人都可以通過電子郵件向他發送自己的「前五件事情」。
你所學到的，你所觀察到的，你即將要做的，無論是什麼事情，他每天早上都會閱讀100+郵件，去了解大家的TOP 5 things。
比如，你去了一家非常棒的餐廳、有了一個可愛的baby...，這才是真正重要的信息。
沒有正式的定期計劃
對於，如何去做規劃，讓公司最底層的想法展現出來、讓最好的工程師執行。
老黃表示，對於我來說，沒有5年計劃，也沒有1年計劃，會根據不斷變化的業務和市場條件進行重新評估。
總結來說，英偉達優化組織結構的目的是：（1）吸引優秀人才；（2）保持盡可能小的團隊規模；（3）使信息傳播盡可能迅速
就連英偉達深度學習研究員VP Bryan Catanzaro，直接現身證明，全部為真。
那麼，在這樣的組織工作是一種什麼樣的體驗？
Bryan表示，在很多方面，這是一個非常穩定的環境。許多資深員工已經在英偉達工作了幾十年。這種風格並不適合每一個人，但對很多人來說卻很有效。這是一個充滿活力的環境。
與馬斯克不同的是，老黃很少對外講述自己管理公司的方法。
今年在台大的演講中，老黃曾講述了定義了今天英偉達樣貌的3個故事。這當中，離不開他的決策和判斷，已經思考。
最初，英偉達與SEGA簽約，為其打造遊戲機。經過一年的開發過程，卻發現使用的技術架構是錯誤的。
但是，黃仁勳發現即便糾正過來，也無濟於事，因為這一產品創造與微軟的Widows系統並不兼容。
於是，他聯絡了SEGA執行長，解釋英偉達無法完成這個任務，並還得到了SEGA的幫助，所幸沒有破產。
第二件事，就是2007年英偉達宣布的CUDA GPU加速計算技術。
為了向全世界推廣CUDA技術，還專門創辦了GTC的會議。經過多年努力，英偉達這項技術成為AI革命重要的推動引擎。
第三件事，做出放棄手機市場的艱難決定，將重心放在顯卡上。
正如老黃所說，「戰略性的撤退、犧牲、決定放棄什麽是成功的核心，非常關鍵的核心。」
一位X的工程師稱，這一管理方式與馬斯克X公司的操作非常類似。
還有網友戲稱，老黃的這種管理方式，都可以在多模態智能體大模型體系中建模了。
如果老黃，能夠像馬斯克一樣出一本傳記，相信每個人都願意去拜讀一下。
看看，英偉達的GPU如何取得成功，成為大廠的掘金鏟。
全球GPU缺口超40萬張
H100的短缺，早就讓矽谷大佬們都慌了！
Sam Altman就曾自曝，GPU已經告急，希望用ChatGPT的用戶能少一點。😂
「GPU非常短缺，使用我們產品的人越少越好」
Altman表示，受GPU限制，OpenAI已經推遲了多項短期計劃（微調、專用容量、32k上下文窗口、多模態）。
OpenAI聯合創始人兼職科學家Andrej Karpathy也透露過，現在誰家得到了多少塊H100，都是矽谷的頂級八卦。
這張在社區廣為流傳的圖曾做出如下估算——
-GPT-4可能在大約10000-25000張A100上進行了訓練
-Meta大約21000 A100
-Tesla大約7000 A100
-Stability AI大約5000 A100
-Falcon-40B在384個A100上進行了訓練
– Inflection使用了3500和H100，來訓練與GPT-3.5能力相當的模型
現在不光是科技公司排著隊購買H100，連沙特阿拉伯和阿聯酋都出手了，一下就買了幾千個H100 GPU。
馬斯克直言，現在想買到H100已經難如登天。
根據馬斯克的說法，GPT-5可能需要30000-50000個H100。此前，摩根士丹利曾表示GPT-5使用25000個GPU，自2月以來已經開始訓練，不過Sam Altman之後澄清了GPT-5尚未進行訓。
而一篇名為「Nvidia H100 GPU：供需」文章曾推測，小型和大型雲提供商的大規模H100集群容量即將耗盡，H100的需求趨勢至少會持續到2024年底。
微軟的年報中也向投資者強調，GPU是其云業務快速增長的「關鍵原材料」。如果無法獲得所需的基礎設施，可能會出現數據中心中斷的風險因素。
據推測，OpenAI可能需要50000個H100，而Inflection需要22,000個，Meta可能需要25k，而大型雲服務商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。
Lambda和CoreWeave以及其他私有云可能總共需要100k。Anthropic、Helsing、Mistral和Character可能各需要10k。
整體算來，全球公司需要約432000張H100。按每個H100約35k美元來計算，GPU總需求耗資150億美元。
這其中，還不包括國內大量需要H800的互聯網公司。
而且，H100不光不愁賣，利潤率還高得嚇人。
業內專家曾稱，英偉達H100的利潤率接近1000%。（新智元）
參考資料：
https://twitter.com/danhockenmaier/status/1701608618087571787
https://www.tomshardware.com/news/nvidia-sold-900-tons-of-h100-gpus-last-quarter