【輝達GTC大會】我們認為黃仁勳最重要的一段話



01 當下最受矚目的技術發表會

這幾天,整個世界都在關注科技界的「黴黴」-黃仁勳(Jensen Huang)。

在GTC (GPU Technology Conference)開發者大會,輝達的創始人兼CEO黃仁勳亮出了不少「王炸」。

例如基於全新Blackwell架構的B200和GB200系列晶片,被譽為地球上最快的AI運算晶片

黃仁勳興奮地說,“Blackwell 將成為我們歷史上最成功的產品發布”


他雙手托舉著Blackwell GB200晶片以及HGX B200伺服器主機板開玩笑說道:“我要小心一點,這個值100億美元。”



Blackwell GPU晶片的創新之處首先在於其獨特的設計理念。

以往一塊GPU晶片是單一的整體,但Blackwell由兩塊同架構的小晶片構成,當兩個小晶片合併時,一個完整的Blackwell晶片擁有了驚人的2080億晶體管而上一代的Hopper僅有800億。


黃仁勳舉起新的Blackwell GPU 晶片(左)與其前身H100“Hopper”進行比較


這種獨特的設計大幅提升了其處理性能。

黃仁勳用ChatGPT做了一個非常直覺的比較。

OpenAI目前最尖端的模型擁有1.8兆個參數。

在使用早期的A100 GPU進行訓練時,這個任務需要部署25,000個GPU,並且耗時介於3到6個月之間。

如果用上一代的H100 GPU,相同的訓練任務所需的GPU數量將減少至8000個,並將訓練時間壓縮至僅90天,同時消耗的電量為1500萬度電

新一代的Blackwell GPU將這一進步推向了新的高度。使用Blackwell GPU,訓練時間保持不變,但所需的GPU數量將大幅減少至原來的1/4,即2000個左右,而且電量消耗也顯著降低至僅400萬度電。


與前身「Hopper」系列相比,Nvidia Blackwell GPU 每秒的浮點數學運算數量增加了十倍,而晶體管數量增加了一倍以上。Nvidia 指出該晶片運行大型語言模型的速度提高了25 倍


很多人只看到了輝達的晶片,

但它真正的護城河可能來自CUDA.

咱們對蘋果模式都不陌生:

蘋果一方面賣硬件,另一方面是其豐富流暢的iOS操作系統,兩條腿走路的這種集成為用戶提供了優化的性能和體驗。


輝達也是如此。

CUDA就是輝達的iOS。



CUDA(Compute Unified Device Architecture)是NVIDIA開發的一種平行運算平台和程式設計模型。因為CUDA提供了C語言的擴展,傳統的軟體開發者能夠輕鬆地開發GPU加速的應用程序,而無需成為平行運算的專家。

此外,CUDA建構了強大的生態系統,包含函式庫、工具、教育資源和社群支持,大大降低了高效能運算的門檻。



於是,從科學計算、數據分析、到深度學習和人工智慧,我們都可以看到CUDA的應用,這使得研究人員能夠在短時間內處理大規模數據集,加速新藥發現、氣候模擬和新材料設計等多個領域的研究。


來自極端天氣條件「數位孿生」模擬的高解析度地球影像模擬,稱為Earth-2 氣候,能在幾秒鐘內提供警告和更新的預報,而傳統的CPU 驅動建模需要幾分鐘或幾小時。該技術基於Nvidia 構建的名為“CorrDiff”的生成式人工智慧模型,該模型可以生成天氣模式的“高分辨率12.5 倍圖像”,“比目前的數值模型快1,000 倍,能源效率高3,000 倍

更絕的是,就像蘋果的iOS作業系統來只在蘋果硬體上運行一樣,CUDA編寫的程式也是只能在NVIDIA的GPU上運行並且可以優化利用GPU的特定功能。

在此次發表會上,輝達也推出了Nvidia推理微服務(NIM),並重點介紹了Omniverse。



我們是這樣粗淺並簡要地理解這些概念的:

想像你是賽車手,你來選擇目的地;

輝達的晶片就是汽油,CUDA就是賽車的發動機,兩者負責提供動力;

而NVIDIA推理微服務(NIM)則像是車上的導航系統,幫助賽車根據路況和目的地有效率地到達終點。

Omniverse可以被視為賽車比賽的虛擬賽道和環境,為賽車提供一個可以展示其性能的場所。

你可以完全專注於你的賽車過程。

這樣看來,從底層硬體到應用層,輝達都在全面佈局AI生態。



Sam Altman深夜在X上發文感慨,這是人類歷史上最有趣的一年,但會是未來最無趣的一年。



02 創新帶來的驚人利潤

輝達1999年在納斯達克上市,發行市值不過2.3億美元;現在市值為2.24兆。35年,成長近萬倍,現在勢頭更甚。





在不久前公佈的2023年度財報中,輝達以609.22億美元的營收和297.6億美元的淨利潤,同比分別增長126%和581%,增長態勢驚人,遠超其直接競爭對手英特爾和AMD,更是遠超標普500指數與那斯達克100指數。




我們注意到,2023財年,輝達研發費用達73.39億美元,佔收比達27.2%。



自輝達上市以來,其年均研發投入成長率達57.4%,即便在面對CUDA平台研發不順和高研發支出對利潤造成重大影響的挑戰時,輝達依然堅持以研發為核心。


與研發投入相對應的是其創新的組織模式

截至2024年1月,研發人員達到了22,200人,占公司總員工數( 29,600)的75%,是一支由軟體工程師、硬體工程師、超大規模積體電路工程師、製程工程師、架構和演算法專家組成的高品質研發隊伍。



更為突出的是,輝達採取了三團隊-兩季的創新研發迭代模式,透過三個平行開發團隊專注於獨立的產品開發階段,確保每6個月推出一次新產品。這種組織模式不僅保持了技術和產品的快速迭代,而且確保了輝達在高於競爭對手的價格下仍然能夠佔據絕對的市場份額。


此外輝達非常重視生態系的投資。

主要有三方面——

1,NVIDIA 的企業投資,專注於策略合作,旨在增強NVIDIA 平台並擴展生態系統;

2,創投部門NVentures,與企業家一起投資,迄今為止NVentures 已對醫療保健、製造和其他關鍵垂直行業的公司進行了19 筆投資;

3,NVIDIA Inception,支持新創企業並將其與投資人聯繫起來,這是一項公益的,為多個行業和超過125 個國家/地區的17000 多家新創公司提供技術和行銷支援。




由於持續的技術創新和高效的組織模式,輝達在獨立GPU市場的份額高達84%,毛利率更是達到了驚人的72.7%。

然而,在這個烈火烹煮的時刻,華爾街的資本有不同的解讀

有人擔心隨著GPU技術的迭代,算力快速成長很可能會大幅壓縮輝達的成長空間。

方舟的「木頭姊姊」凱西‧伍德(Cathie Wood)在3月7日致股東信中對輝達未來可能面臨的競爭壓力發出警告。木頭姊姊認為,如果AI公司、軟體公司在應用層面一直見不到收益的話,很可能會停止增加在GPU建置上的投入。


截圖自巴倫周刊


當然,這對輝達來說並不算是壞消息。

首先,輝達可能早就認識到了這一點,這也是我們前面提到的生態系統的建立。

黃仁勳提到了「世界上最大的電動車公司」比亞迪,輝達的下一代汽車智慧晶片DRIVE Thor專為Transformer(一種運算技術,它處理和分析數據,支援自動駕駛汽車的智慧決策)設計,據悉這種引擎使DRIVE Thor 能夠以高達9 倍的速度加速Transformer 深度神經網路的推理效能,並將被比亞迪採用。




這些深入到各行各業的平台支持,會支持「賽車手」拿到更好的成績,獲得更大的收益,而輝達也從傳統的顯示卡供應商轉變為人工智慧伺服器供應商。


其二,經歷金融危機期間,股價下跌80%的黃仁勳,對資本的意見或許早就不在乎了。

資本的估值是對現有情況的線性模擬,而技術的發展總是會給人驚喜。老黃總是在問自己「你必須始終牢記核心,你相信什麼?最重要的事情是什麼?有什麼東西改變了嗎?股價變了但還有其他東西變了嗎?那些促使我們做出決定的事情,那些假設、那些信念有變化嗎?因為如果這些東西變了,那一切都得變。但如果它們不變,你也什麼都不需要改變。繼續走下去,這就是堅持的辦法。”


03 輝達的信念:未來電腦的運算會高度依賴生成 而非基於檢索

以下這段話,是我們認為黃仁勳最重要的一段話,來自黃仁勳與MBA '24 Shantam Jain的對談。

它不僅僅是在討論科技的進步,而是在探討這些進步如何根本改變我們對工作、創新和組織管理的看法。



原影片網址:https://www.youtube.com/watch?v=lXLBTBBil2U


我們處於計算的世界。

未來我們處理資訊的方式將從根本上改變。

這就是NVIDIA製造晶片和系統的原因。

我們編寫軟體的方式也會從根本上改變。

我們未來的軟體類型將改變將催生新的應用程式。還有,這些應用程式的處理方式也會改變。過去,模型是基於檢索預先記錄的信息,我們編寫文字、預先記錄然後基於演算法來檢索。在未來,某些資訊的種子將成為起點。我們稱之為Prompt提示詞,然後產生其它的內容。


未來的計算將高度依賴生成。

舉例來說我們現在正在聊天。我告訴給你們的資訊很少是檢索所得,大多數是產生的,這就叫做生成式人工智慧(AIGC)。


未來計算機的運算會高度依賴生成,而非基於檢索

回到原點,你們創業時得自問哪些產業會因此被顛覆?

我們還會對網路持有同樣的看法嗎?

我們還會對存儲持有同樣的看法嗎?

我們還會像今天這樣濫用網路流量嗎?


可能不會。

我們此刻在對話,但不是你每問個問題我看一下提示卡片,再回答你的問題。


什麼會更多出現?什麼會減少?會出現哪些新的應用程式?等等之類的問題。你可以審視整個產業格局自問:

什麼會被顛覆?什麼會改變?會出現哪些新事物?諸如此類。

推理過程始於「發生什麼了?什麼是生成式人工智慧?」

從根本上,到底是什麼正在發生?對所有問題都回歸本質。


我還想聊聊組織架構

創建組織的方式得回歸本質,別管其它公司的組織架構。你記住組織是用來做什麼的。過去的架構是上面一個CEO下面是輔佐大臣,層層向下,最底層就是普通員工。

這樣設計的目的是希望員工獲得的資訊越少越好,因為士兵們的根本任務就是在戰場上賣命。犧牲而不問,原因你們懂的。我只有3萬名員工,我不希望任何人去送死。

我希望他們質疑一切。

過去的組織方式與現今的組織方式截然不同。

問題是「NVIDIA要創造什麼?」

組織架構的目標,是讓我們更能創造我們要創造的東西。

大家創造的東西不同,為什麼還要用相同的組織架構方式呢?為什麼採用相同的組織架構、而不考慮你們要創造的是什麼?

毫無道理。

你造計算機用一種架構去組織,但你提供醫療服務還用完全相同的架構去組織?這完全說不通。


你得回歸本質自問:

需要什麼樣的架構?輸入是什麼?輸出是什麼?這個環境有什麼特性?這種動物必須生活在什麼樣的環境?它的特性是什麼?大部分情況下是穩定的嗎?是不是每時每刻都努力榨乾最後一滴水?還是時常變化、隨時會被攻擊?


你得明白,身為CEO你的工作就是要架構這個公司。

這是我的首要工作──創造條件讓你能做畢生的事業。架構必須正確,意義你必須回歸本質,思考這些本質問題。


我很幸運,在29歲的時候有機會退後一步思考:

我如何為未來建構這家公司,它的樣子會是怎麼樣?它的作業系統是什麼也就是企業文化?我們鼓勵和推廣哪些行為、不鼓勵哪些行為?等等。(TOP創新區研究院)