•
黃仁勳訪談｜思維鏈推理對算力需求可能提高至十億倍
2024年10月13日， NVIDIA 首席執行官黃仁勳參加Bill Gurley 和 Brad Gerstner 主持的對話節目。本次對話內容涉及通向通用人工智慧 (AGI) 的發展路徑、機器學習的加速處理程序、NVIDIA 的競爭優勢、AI 訓練和推理的重要性、AI 領域未來的市場格局、AI 對各行業的影響、未來的工作形態、AI 提升生產力的潛力、開源與閉源的平衡、Elon Musk 的 Memphis 超級叢集、X.ai、OpenAI 以及 AI 的安全發展等關鍵話題。
黃仁勳在對話中稱，NVIDIA正在經歷一個超越摩爾定律的計算革命，AI時代的計算堆疊（包括硬體、軟體和應用）都發生了根本性變化，計算的邊際成本大幅下降，機器學習成為核心驅動力。他認為，NVIDIA的競爭優勢在於建構完整且相容的計算平台，從GPU到CPU，到網路，到軟體庫，形成一個整體的AI生態系統，而不是僅僅依靠單個晶片的性能提升。
黃仁勳認為AI時代的核心是“飛輪”，即一個由資料獲取、資料處理、模型訓練和推理組成的複雜循環。NVIDIA的重點在於加速這個飛輪的每一個環節，尤其強調推理能力的重要性，並預見未來推理規模將遠超訓練。
黃仁勳稱，目前 NVIDIA 超過 40% 的收入來自推理任務。而隨著推理鏈的出現，推理的規模預計將迎來千萬倍乃至十億倍的增長。這種增長潛力正是關鍵所在，但大多數人還未完全意識到這一點。
他指出，NVIDIA的架構和軟體庫（如CUDA、cuDNN等）已深刻地改變了深度學習領域，並且在不斷擴展到新的應用領域（如視訊處理），而不僅僅侷限於文字模型。
以下是本次對話原文完整實錄
他們的成就是獨一無二的，前所未有的。為了讓大家更好地理解，我們利用10萬塊GPU（圖形處理器），成功打造了全球最快的超級電腦叢集。通常情況下，規劃和建設一台超級電腦需要三年時間，裝置交付後，還需要花費一年時間進行部署和偵錯。而我們只用了19天就完成了全部工作。
我們將在周一舉行年度投資者會議，屆時將全面討論人工智慧（AI）的成果以及智能化擴展的速度。我認為沒有人比您更適合開場，非常感謝您的參與。作為股東和思想上的合作夥伴，您的智慧幫助我們不斷成長，我們對此深表感謝。再次感謝您的到來。
很高興來到這裡。今年的主題是智能化擴展。我們將深入探討通用人工智慧（AGI）。令人難以置信的是，兩年前，我們在AI領域開始努力時，ChatGPT還未面世，而如今，世界已經發生了巨大的變化。
我認為可以從一個思維實驗和預測開始。如果將AGI看作是我們口袋中的個人助理，它瞭解我們的一切，擁有完美的記憶，能夠與我們溝通，為我們預訂酒店，安排醫生預約。面對當今世界的快速變化，您認為我們距離擁有這樣一個個人助理還有多遠？
這種助理的實現其實指日可待。儘管在最初階段它可能並不完美，但隨著時間的推移，它將不斷改進，這正是技術的魅力所在。最初它可能只是有用，但並不完美，然而隨著不斷最佳化，它將越來越強大。埃隆曾說過，真正重要的是變化的速度，我對此完全認同。就我們而言，AI的發展速度已經達到了前所未有的水平。我們在AI領域已探索十多年，而這種變化速度確實是我職業生涯中從未見過的。
這種快速的變化源於我們對計算方式的重新定義。過去十年，我們通過創新手段將計算的邊際成本降低了十萬倍，而摩爾定律僅能實現百倍的改進。通過多種方式，我們取得了這一成就。
我們通過引入加速計算，將在CPU（中央處理器）上效率較低的任務轉移到GPU上處理，以此顯著提升性能。我們發明了新的數值精度，採用了新型架構，並引入了Tensor Core。此外，我們通過NVLink（NVIDIA的高速GPU互連）和InfiniBand（一種電腦網路通訊標準）整合了高速記憶體技術，如HBM（高頻寬儲存器），以擴展系統規模，並對整個計算堆疊進行了最佳化。這些舉措構成了NVIDIA的核心創新策略。
這些創新超越了摩爾定律的速度，使我們從傳統的人類程式設計轉向了機器學習（Machine Learning）。機器學習的獨特之處在於它能夠快速學習。當我們重新設計分散式運算方式時，我們採用了多種平行處理方法，如張量平行、流水線平行等，並在此基礎上不斷髮明新演算法和新的訓練方法。所有這些創新相互疊加，最終帶來了顯著的成果。
在過去，軟體是靜態的，預編譯後便投入使用，底層硬體以摩爾定律的速度發展。而現在，我們整個計算堆疊從底層到頂層都在同步增長和創新，這種擴展無疑是非凡的。我們討論的已經不再是簡單地擴展預訓練模型，而是關於如何有效地擴展模型大小和相應的資料規模。計算能力需求每年增長四倍，這是一個巨大的挑戰。而現在，我們看到的不僅是訓練的擴展，還有推理的擴展。
過去人們認為預訓練很難，而推理相對容易。但現在，所有環節都變得同樣具有挑戰性。快速思考與深度推理、反思、迭代和模擬正在成為現實，這對整個系統提出了更高的要求。
關於NVIDIA，有一個常被誤解的問題，那就是我們真正的護城河到底有多深。許多人認為，只要有人能設計出一款性能更強的晶片，便可以取代NVIDIA。然而，事實是，我們在過去十年中已經建構了從GPU到CPU再到網路的完整堆疊，尤其是那些使得應用程式能夠高效運行的軟體和庫。因此，NVIDIA的護城河不僅沒有縮小，反而變得更加深厚。
這種優勢並不僅僅來自晶片的浮點運算能力或性能，而在於我們整個系統的組合效應。我們在堆疊的每個層面都有不斷的改進，最終形成了持續擴大的競爭優勢。英特爾在其巔峰時期通過製造和設計高效晶片建立了護城河，而NVIDIA則通過全面整合硬體和軟體，將計算從晶片層面提升到整個資料中心的規模，使我們能夠持續推動行業前進。
我們的公司與眾不同，因為我們意識到，並非每一個電晶體在平行處理中的表現都需要達到頂尖水準。序列處理依賴於每個電晶體的優異性能，而平行處理則更需要大量的電晶體來實現更高的成本效益。我更傾向於擁有數量更多但速度稍慢的電晶體，而不是擁有數量較少但性能更強的電晶體。這種理念與傳統的單執行緒性能最佳化完全不同，因此單執行緒處理與平行處理在本質上存在著巨大差異。
我們關注的並不是不斷向下最佳化單一電晶體的性能，而是不斷整體向上提升平行計算的效率。平行計算和平行處理具有其複雜性，因為每一個演算法都需要根據架構的特點進行不同方式的重構和重新設計。
許多人可能沒有意識到，在傳統的CPU領域，可以使用三種不同的指令集架構（ISA），並通過C編譯器將軟體編譯到這些架構中。然而，在加速計算和平行計算領域，這種方式是不可行的。架構的開發者必須為各自的架構設計自己的圖形介面庫，例如OpenGL。
正因如此，我們徹底改變了深度學習領域。深度學習之所以能取得今天的成就，得益於我們的領域專用庫cuDNN（CUDA深度神經網路庫）。儘管cuDNN並不總是被人提及，因為它隱藏在PyTorch、TensorFlow等框架的底層，但它實際上是深度學習的重要支柱，過去的Caffe和Theano、以及現在的Triton等都依賴於它。
我們還開發了多個領域專用的庫，如Optix、cuQuantum、Rapids等，這些庫為不同的行業需求提供支援。這些庫位於深度學習框架的底層，使得整個生態系統能夠高效運行。例如，如果沒有我們開發的大型語言模型（LLM），許多上層應用程式就無法順利運行。
因此，NVIDIA的真正優勢在於我們在上層科學和底層架構之間的深度融合，這使得我們在推理和訓練領域都具備強大的競爭力。兩年前，當布萊德和我與你共進晚餐時，我們曾問你是否認為推理的護城河會和訓練一樣深。當時你也表示推理可能會更強，而我們現在正逐漸進入推理的時代。
訓練實際上就是大規模的推理。如果你在特定架構上完成了良好的訓練，那麼推理過程也會表現優異。即便是為了適應其他架構進行最佳化，只要最初的設計是基於NVIDIA的架構，那麼在NVIDIA平台上它就能無縫運行。
在資本投資方面，當你訓練新的模型時，往往希望使用最先進的裝置進行訓練，而上一代裝置則被用於推理，這些裝置仍然非常適合推理任務。通過這種方式，我們建立了一個裝置的升級和再利用的軌跡，從而最大程度地提高了基礎設施的利用效率。
我們投入了大量的資源，不斷研發新的演算法和改進現有框架，這些努力不僅對新架構如Hopper有益，也讓上一代架構如Ampere和Volta性能更上一層樓。這使得我們安裝的基礎設施在持續演進的過程中，依舊能夠保持高效和競爭力。
NVIDIA的計算基礎設施已經遍佈雲端、本地部署和邊緣計算場景。例如，在雲端開發的Vila視覺語言模型無需修改便可在邊緣裝置上運行，這都得益於我們的CUDA相容性。
我們始終強調架構的相容性，這對於推理任務至關重要。正如iPhone的硬體和軟體協同發展一樣，我們的基礎設施相容性為使用者提供了一致的使用體驗，這使得我們在推理領域的優勢不斷積累。
同時，我們也致力於為個人助理等應用場景創造出高度互動的推理體驗。我們不希望使用者等待系統的響應，而是希望實現快速、即時的互動。為了達成這一目標，我們發明了NVLink，讓我們能夠在推理任務中實現與訓練同樣高的性能。
NVLink使得我們能夠在訓練完成後繼續發揮系統的推理優勢，我們通過不斷最佳化每一個計算節點，致力於在毫秒等級內完成推理任務。這種架構的複雜性促使我們研發出帶有NVLink的Grace Hopper CPU，以確保在滿足巨大頻寬需求的同時，也能提供足夠的浮點運算能力。
在當前的行業環境中，有不少公司正在開發定製的ASIC（專用積體電路），例如Meta的推理加速器、Amazon的Trainium、Google的TPU等。然而，NVIDIA的戰略目標不同，我們專注於為機器學習和生成式AI世界建構一個全方位的計算平台。經過六十年的計算技術積累，我們重新設計了整個計算堆疊，包括程式設計方法、從CPU到GPU的軟體處理方式，以及從傳統工具到AI應用程式的轉變。
我們正在建構一個無處不在的計算平台，這使得NVIDIA在AI基礎設施的建構上具備獨特的優勢。對我們而言，資料中心現在就是計算的基本單位，而不再只是某一塊晶片。資料中心包含了CPU、軟體、硬體協同工作的整體，我們正致力於每年不斷改進這一整體架構，從而推動AI計算的持續演進。
您編寫軟體的方式，從傳統程式設計到機器學習，從在CPU上執行任務到利用GPU進行處理，再到人工智慧應用的開發方式，這些變化無不體現出計算領域的轉型。從軟體工具到AI驅動的應用，每個計算堆疊和技術堆疊的方面都發生了深刻變革。
我們的目標是建構一個無處不在的計算平台，這就是我們所從事工作複雜性的根本所在。我們正在建構整個AI基礎設施，實際上把它看作一台巨大的電腦。
我曾說過，現在資料中心已經成為計算的基本單位。當我想到一台電腦時，我不僅僅考慮那一塊晶片，而是考慮所有的元件。我想到的是CPU，是軟體，是所有編排和控制這些機器的系統。那就是我的電腦。我們每年都在嘗試建構一個全新的“電腦”，這的確是一個瘋狂的壯舉，以前從來沒有人嘗試過這樣的事情。
每年，我們都努力將性能提升到上一代的兩到三倍。同時，我們也在努力將成本降低，並將能效提高到前一年的兩到三倍。我們的目標是逐年改進，使得每年的成果相較之前有顯著提升。我們不是一次性採購所有裝置，而是逐年少量購買，以便在未來能夠持續平均化成本。所有的系統都是架構相容的。
建構這一切的速度本身已經非常具有挑戰性，此外，我們還將這些基礎設施解耦並將其整合到各種雲平台中——包括Google Cloud Platform（GCP）、Amazon Web Services（AWS）、Azure以及Oracle Cloud Infrastructure（OCI）。每個雲平台都有不同的整合方式，我們必須將所有的架構庫、演算法、框架、安全系統和網路系統整合到他們的生態系統中，這使得每次整合都需要進行深度定製，而我們每年都要完成這樣的任務。
這種整合工作的複雜性令人驚嘆：每年，我們不僅提供基礎設施，還要確保這些基礎設施無縫地整合到全球各地的資料中心，並與他們的系統協同工作。這種協作需要精確協調的API、方法論、業務流程和設計規則。經過數十年的發展，我們的方法論和架構已經磨練得非常完善，以確保當全球各地的元件準備就緒後，所有系統能夠順利整合，形成一個完整的計算平台。例如，使用者只需呼叫OpenAI的API，整個系統便能夠無縫運行。
整個世界與我們合作，NVIDIA的計算基礎設施被整合到各處——通過Dell或HPE等管道銷售、託管於雲端、部署於邊緣計算環境。我們的技術在機器人系統、人形機器人和自動駕駛汽車中得到應用，它們在架構上保持一致，形成了一個相當驚人的生態系統。
我們致力於建立無處不在的計算架構和平台，並不試圖從他人那裡爭奪市場份額。NVIDIA的目標是成為市場的開拓者，而非僅僅是市場份額的競爭者。因此，我們始終專注於如何創造新的事物，如何加速飛輪效應，以及如何為使用者提供更好的體驗。
我們想將這個飛輪，從可能需要一年的開發周期壓縮到一個月，這代表著突破性的加速。而儘管我們對整個行業保持敏銳的意識，我們依然堅定不移地執行我們的使命，這一使命對我們和整個世界都至關重要。所有偉大的公司都需要有一個明確的目標，而唯一需要回答的問題是，這個目標是否必要？是否有價值？是否能夠產生深遠的影響？
我們相信，通過支援CUDA，開發者可以在我們的平台上實現他們的願景，並且未來可以根據需要作出新的選擇。NVIDIA並不抗拒使用者建構自己的ASIC，實際上，我們與所有的雲平台合作，並提前幾年向他們展示我們的路線圖，即便他們也在開發自己的ASIC，這些都不會影響到我們執行自己的使命。
我們的路線圖在GTC大會上是公開透明的，我們在Azure、AWS等合作夥伴之間的協作也沒有任何猶豫。這種透明和開放正是因為我們對使命的堅定信念。
市場的需求是瘋狂的，尤其是對最新GPU架構Hopper的需求超乎想像。在資源有限的情況下，我們面臨的一個挑戰是對部分需求說“不”，而這種情感上的負擔也是業務的一部分。有人將這種需求比作2000年光纖產業的繁榮與蕭條，但NVIDIA並非是簡單地重複歷史，我們正在塑造新的市場，突破預期，開創前所未有的可能性。
我回想起2023年初，當我們共進晚餐時，討論了對NVIDIA的預期。那時的預測是，2023年NVIDIA的收入將達到260億美元，而實際上你們達到了600億美元。這是一個巨大的差距，是全球預測中的一次重大失誤。至少，我們可以坦率地承認這一點，這對我來說是非常有意義的收穫。
在2022年11月，我們倍感興奮，因為像來自Inflection的Mustafa和來自Anthropic的Noam這樣的業內領袖來到了我們的辦公室，討論對他們公司進行投資的可能性。他們提到，如果無法直接投資他們的公司，那麼就投資NVIDIA，因為全世界都在爭相購買NVIDIA的晶片，用於建構那些將徹底改變世界的應用。
隨著ChatGPT的發佈，這一行業經歷了堪比寒冬的“寒武紀爆發”。儘管如此，那些25位分析師因對加密寒冬的興奮而未能預見世界的真正發展趨勢，這也是導致他們預測錯誤的原因之一。最終的結果是市場的規模遠超預期。
您曾說過，用非常直接的方式表達，Hopper架構的需求是空前的，這種需求將持續很長時間，儘管未來仍存在未知因素。但為什麼批評者錯誤地認為這會像2000年時思科的過度建設一樣，最終導致市場崩盤呢？
思考未來的最佳方式是從第一性原理進行推理。我們應該問自己：我們究竟在做什麼？我們正在重新發明計算的方式。未來的計算將高度依賴於機器學習，這一點已經十分明確。無論是Word、Excel、PowerPoint，還是Photoshop、Premiere、AutoCAD等幾乎每一個應用程式，在未來都將高度依賴機器學習，所有這些工具將被智能代理輔助使用。
我們已經徹底重新定義了計算技術的堆疊。從編寫軟體到使用軟體的一切都將有所不同。過去的資料中心是計算的核心，而未來的資料中心也必須迎接現代化的挑戰。我們看著那些價值數千億美元的資料中心，意識到它們必須被更新，必須適應未來的計算需求，而這一切都是基於現代化的GPU架構。
如果一個企業手中有500億美元的資本支出預算，如何決定如何使用？是建設未來的基礎設施，還是繼續沿用過時的裝置？答案顯而易見：我們應當將這筆資金投入到生成式AI中，因為這將使企業變得更好。如果擁有過去四年建設的基礎設施，那麼所有新的資金都應投入到生成式AI中。
我們從第一性原理出發，進行思考並做出決策。聰明的人在做出符合邏輯的決定。接下來我們還有一兆美元的舊基礎設施需要進行現代化改造，同時我們也有一兆美元的AI新工作負載在未來幾年內到來。
此外，我們觀察到，未來的軟體不僅編寫方式不同，使用方式也將發生變化。我們將擁有智能代理，在公司中將出現數字員工。在您的收件箱中，未來將會有AI助手為您處理日常任務。而我們將不再使用C++進行程式設計，而是通過提示與AI互動，這種方式與我現在與團隊溝通的方式非常相似。
新的計算基礎設施將圍繞這些AI助手和數字員工運行。我們稱之為“AI工廠”，這些AI助手將在全球的企業中全天候運行，從工廠到自主系統，遍佈各行各業。而這種新的計算層——AI工廠——是今天還不存在的，但未來必須被建構的。
美妙之處在於，為這些新AI工廠設計的架構和現代化舊資料中心的架構是相同的。你有一兆美元的舊裝置需要更新，同時你也有至少一兆美元的新AI工作負載需要建設。因此，市場潛力巨大，我們的收入有理由實現兩倍甚至三倍的增長。
我們不應該受限於現有市場的大小，而是應該有想像力去創造新的市場。NVIDIA的使命是成為市場的創造者，而不是僅僅爭奪市場份額。我們始終致力於推動技術邊界，創造新的增長機會，而不是僅僅逆向思考如何佔領現有的市場空間。
份額的爭奪者終究有其侷限，而市場的創造者則可以無限成長。從我們公司成立的第一天起，我們就必鬚髮明新的市場，開闢屬於我們的天地。當時，大家可能還未意識到，但事實是，我們在3D遊戲PC市場從無到有，基本上創造了這個市場及其完整的生態系統，所有顯示卡的生態環境也是我們建立的。因此，創造一個新市場並在其後服務它，這已經成為我們的一種常態和能力。
與發明新市場的人對話時，我想稍微轉變一下話題，談談模型以及OpenAI。本周，OpenAI獲得了65億美元的融資，估值達到1500億美元，我們也有參與其中。對此我感到非常高興，為他們的成功感到由衷的喜悅。他們的團隊表現出色，預期今年的收入將達到50億美元，而明年可能實現100億美元的收入。如果回顧這項業務，這個數字約為Google首次公開募股（IPO）時的收入的兩倍，使用者規模也達到2.5億周活躍使用者，幾乎是Google IPO時期的兩倍。
如果我們看未來收入的倍數，假如相信明年達到100億美元的收入，那麼這相當於前瞻性收入的15倍，這與Google和Meta在IPO時的倍數相當。想到OpenAI從22個月前的零收入、零使用者，到如今的驚人表現，這無疑是歷史上最令人難以置信的成就之一。
談到OpenAI作為合作夥伴的重要性，以及其推動公眾對AI認識和使用的力量，我認為他們是當代最有影響力的公司之一。OpenAI是一家純粹的AI公司，追求通用人工智慧（AGI）的願景，不論具體定義是什麼。在我看來，定義並非絕對重要，時間也並不關鍵。唯一明確的是，AI將沿著一條能力發展路線不斷進步，這個路線圖將會非常壯觀。即使在AGI真正定義之前，我們也將充分利用其能力。
目前，我們所要做的正如我們常說的，就是去和數字生物學家、氣候技術研究人員、材料科學家、物理學家、天體物理學家以及量子化學家們溝通。無論是視訊遊戲設計師、製造工程師，還是機器人專家，深入到這些領域與重要的從業者交流，詢問AI是否已經徹底改變了他們的工作方式，然後收集這些資料點。最終你會發現，他們談論的不是一個概念上的未來，而是他們日常生活中長期使用AI的現實。
如今，從氣候技術到材料科學，AI正在幫助每個領域取得進展。它在各行各業、每家公司以及每所大學中產生了深遠的影響，令人驚嘆。AI正在以非常具體的方式改變我們的業務，這種變化正發生在今天。
因此，我認為由ChatGPT引發的AI覺醒是完全令人難以置信的，我喜歡他們專注的目標和推動整個行業向前的速度。他們建立了一個經濟引擎，能夠為下一代模型提供融資，這正是令人振奮的事情。
矽谷的普遍共識是，整個模型層正在被逐步商品化。例如，Meta的LLaMa讓很多人能夠以較低的成本建構模型。早期階段，我們看到很多公司如Anthropic、Inflection、Cohere和Mistral等湧現出來，很多人懷疑這些公司是否能夠在經濟引擎上達到“逃逸速度”，繼續為下一代模型提供資金。
我的感覺是，我們會看到某種整合的發生。顯然，OpenAI已經達到了“逃逸速度”，他們有足夠的資金支援自己的未來。而其他許多公司是否能做到這一點，還不確定。這是對模型層現狀的合理評估嗎？我們可能會看到類似於其他行業中發生的整合，而OpenAI作為領先者，將繼續利用其經濟引擎進行持續投資。
首先，模型和人工智慧之間存在根本的區別。模型是人工智慧的一個基本組成部分，必要但不充分。人工智慧代表了一種能力，但具體的應用是什麼呢？比如自動駕駛汽車中的AI與用於人類輔助或者機器人的AI是不同的，與聊天機器人的AI也是不同的。
因此，必須理解技術堆疊中的分類法。在堆疊的每一層都有機會，但並不是每個人在每一層都有無限的機會。這意味著存在一定的挑戰與問題。
我想補充一點，假設你將“模型”這個詞取代為“GPU”，你會發現類似的情況。GPU與加速計算之間也存在根本的區別。加速計算不同於AI基礎設施中的工作，它們彼此相關但並不完全相同，且在每一個抽象層中都需要不同的技能。因此，擅長建構GPU的人未必知道如何成為一家加速計算公司。
雖然有很多人可以製造GPU，但這並不意味著他們可以成為一家加速計算公司。以一個非常專業的AI應用為例，它可能是一個非常成功的產品，但它未必具有廣泛影響力和全面能力。建構公司時必須識別生態系統的變化，瞭解那些部分可能隨著時間被商品化，明確什麼是功能、什麼是產品以及什麼是公司。
此外，新的玩家如x.ai進入市場，他們充滿資金、聰明且雄心勃勃。據報導，我與拉里和埃隆一起共進晚餐時，我們談到了x.ai的超級叢集建設計畫。他們計畫擴展超級叢集，目標是增加10萬台H-200 GPU，這無疑是一個宏大的目標。
首先，我們必須承認他們的成就。從概唸到一個準備好讓NVIDIA裝置安裝的空資料中心，再到啟動它並完成第一次訓練，整個過程令人驚嘆。建造這樣一個大型的液冷工廠，並在短時間內完成所有裝置的連接和偵錯工作，這是超凡的表現。在工程和資源調配方面，埃隆是獨一無二的，世界上只有少數人具備這樣的能力。
X團隊所取得的成就前所未有。為了讓大家有一個概念，10萬台GPU組成的叢集，足以輕鬆成為全球最快的超級電腦。通常情況下，規劃和建設一台超級電腦需要三年時間，然後交付裝置並再花費一年進行全面偵錯。而X團隊僅用了19天就完成了這一壯舉。
這是NVIDIA平台的勝利，整個流程經過了精心的規劃和最佳化。儘管存在大量的整合工作，但通過精密的預先規劃和協調，我們實現了這一目標。
關於未來，我們已經達到了20萬到30萬台GPU叢集的規模，但我們能否擴展到50萬甚至一百萬台GPU叢集呢？我的感覺是，答案在於分佈式訓練和聯邦學習的發展。我對分散式運算的未來充滿熱情和樂觀。
擴展規律過去主要關注於預訓練，但如今我們已經走向了多模態和合成資料生成。後訓練的規模不斷擴大，合成資料的生成和強化學習也在快速推進，推理擴展也在飛速發展。
在回答覆雜問題之前，模型可能已經進行了數萬次內部推理。它可能執行了樹搜尋、強化學習以及模擬，甚至可能尋找了相關資料。這些都使得模型的上下文窗口變得非常大。
如果考慮到模型和計算規模每年增長四倍，同時需求也在持續增長，我們可以確定未來需要數百萬台GPU。這已經毋庸置疑。
那麼問題就在於如何建構資料中心，以支援這一發展。這在很大程度上取決於資料中心的規模是否以千兆瓦為單位建設。我的感覺是，兩種規模的資料中心都會並存。
分析師往往只關注當前的架構佈局，但我們更應該看到整個生態系統的長期發展。NVIDIA目前正在擴展以滿足未來的需求，而不僅僅是滿足當前的規模。當未來實現分佈式訓練時，我們將開發軟體來支援這一目標。
如果沒有七年前開發的Megatron（超大規模語言模型），就無法實現這些大型訓練任務的擴展。我們發明了Megatron、Nickel、GPU Direct以及與RDMA（遠端直接記憶體訪問）相關的技術，這些都使得流水線平行成為可能。
目前所有關於模型平行、分佈式訓練以及批處理的最佳化，都是基於我們早期的努力。現在，我們正為下一代技術奠定基礎。
我們可以談談Strawberry和O1。雖然時間有限，但O1的名字讓我想起O1簽證，這是一種吸引世界上最優秀、最聰明人才來到美國的簽證。這正是我們兩人所熱衷的事情。
我喜歡這個理念：建構一個可以思考的模型，將我們帶入智能擴展的新階段，向那些通過移民來到美國的傑出人才致敬。正是這些人帶來了集體智慧，讓美國成為今天的樣子。
推理時推理（Inference-time reasoning）無疑是一個巨大的突破。許多智能工作無法在預先階段完成，很多計算也無法提前安排，就像亂序執行一樣，必須在執行階段完成。
從產品的角度看，智能正在變得更加細化。有些問題需要即時回答，而有些則需要經過更深度的推理和探索。智能層將這些問題路由到最合適的模型，正如昨晚我在使用O1 Preview高級語音模式輔導孩子準備AP歷史考試時的體驗，感覺就像有世界上最好的AP歷史老師在身旁指導，這種體驗真的非常獨特和非凡。
AI 如今已經成為了我個人的導師，這絕對千真萬確。AI 已經切實地進入了我們的生活中。回到最初的話題，目前 NVIDIA 超過 40% 的收入來自推理任務。而隨著推理鏈的出現，推理的規模預計將迎來千萬倍乃至十億倍的增長。這種增長潛力正是關鍵所在，但大多數人還未完全意識到這一點。這就像是我們先前討論過的那個行業，這是一場工業革命，一場引入智能的變革，它將以十億倍的速度增長。
很多人關注 NVIDIA 在更大規模模型上的訓練工作，但事實上，如果當前我們的收入是訓練和推理五五開，那麼未來推理將成為主要業務。訓練固然重要，但推理的增長將遠超訓練。
我們希望如此，否則情況將大為不同。我們充滿了希望，就像上學的目的是為了在未來有所作為一樣，訓練這些模型的目的就是為了更好地進行推理。
那麼，是否已經在業務中應用 Chain of Reason 和 O1 這樣的工具來改進效率呢？是的，我們現在的網路安全系統已經離不開 AI 智能體的幫助。我們的智能體正在協助晶片的設計工作，沒有它們，Hopper 和 BlackWall 是無法實現的。我們擁有 AI 晶片設計師、AI 軟體工程師以及 AI 驗證工程師。
我們內部搭建了這一切，因為我們有能力，也願意借此機會親身探索這項技術。今天當我走進大樓時，有人對我說：“問問 Jensen 關於文化的看法，一切都取決於文化。”
我反思了一下我們的業務。我們常常談論精簡和效率，扁平化的組織架構讓我們能夠快速執行，團隊規模也更為緊湊。NVIDIA 確實獨樹一幟，我們的人均收入約為 400 萬美元，人均利潤或自由現金流約為 200 萬美元。你建立了一種講求效率的文化，這種文化極大地釋放了創造力、創新能力、主人翁意識和責任感。
這是一種功能型管理模式。大家喜歡談論你直接管理的團隊成員，那麼運用 AI 是否能夠幫助你在保持高效的同時，繼續保持卓越的創造力呢？
毫無疑問，我期待有一天，NVIDIA 能從現在的 32,000 名員工增長到 50,000 名員工，外加 1 億個 AI 助手，這些 AI 助手將分佈在公司的每一個團隊中。屆時，我們將擁有一個全面的 AI 名錄，這些 AI 將能夠處理各種事務，成為我們團隊的得力助手。
我們的收件箱裡會充滿著我們曾合作過的、極其出色的 AI 記錄。它們專注於我們從事的技能領域，AI 甚至會主動招募其他 AI 來解決問題，AI 將在 Slack 頻道中與其他 AI 交流，也會與人類協作。我們將擁有一個由數字員工和生物員工共同組成的龐大團隊。
我甚至希望部分 AI 助手能夠涉足機電一體化領域。從商業角度看，很多人誤解了這一點。你剛才描述的公司，實際產出相當於擁有 15 萬名員工的公司，但實際上只有 5 萬名員工。
需要強調的是，你並沒有說要解僱所有員工，相反，員工數量仍在增加，但組織的產出將呈現指數級增長。AI 並不會取代每一份工作，但它確實會改變人們對待工作的方式。這一點必須被認識到。
人工智慧既有潛力帶來不可思議的積極作用，也有可能造成傷害。因此，我們必須著力建構安全的人工智慧，這應該作為基本原則。人們常常忽略的是，當企業使用人工智慧提高生產力時，通常會帶來更高的收益、更快的增長或者兩者兼而有之。
在這種情況下，CEO 發出的下一封電子郵件不太可能是裁員通知，因為公司正處於快速增長期。我們有許多想法需要探索，需要員工幫助我們在自動化之前先去思考。AI 可以幫助我們完成自動化部分，也可以幫助我們進行思考，但關鍵不在於我們要解決什麼問題，因為世界上有無數問題需要解決，關鍵是這家公司要解決什麼問題。要選擇正確的想法，找到自動化和規模化的方法。
因此，隨著生產力的提升，我們將僱傭更多的員工。人們往往忽視這一點。回顧歷史，我們今天擁有的想法顯然比 200 年前要多得多，這正是 GDP 更高、就業人數更多的原因，儘管我們在底層不斷實現自動化。
這也是我們所進入的這一時期的重要觀點之一。過去 200 年來，幾乎所有人類生產力和繁榮都是自動化和技術進步的副產品。從亞當·斯密的理論到熊彼特的創造性破壞，你可以從中審視這個問題，看看過去 200 年人均 GDP 增長的曲線圖，它一直在加速上升。
這引出了我的一個問題。回顧 90 年代，美國的生產力增長大約每年為 2.5% 至 3%。但在 2000 年代，增長速度放緩至約 1.8%。過去十年中，生產力增長達到有記錄以來的最低水平。這裡的生產力指的是在固定的勞動力和資本投入下實現的產出水平。
很多人對生產力增長放緩的原因進行了爭論，但如果世界真如你所描述的那樣，我們需要利用和製造智能，那麼我們是否正處於人類生產力大規模擴張的邊緣？這是我們的希望，不是嗎？當然，我們身處這個世界，所以我們有直接的證據。
我們有直接的證據顯示，即使是孤立的個案，一個研究人員在 AI 的幫助下，現在也能夠以難以想像的規模進行科學探索，這就是生產力的提升，百分之百的增長。或者說，我們正在以令人難以置信的速度設計晶片，儘管員工人數幾乎沒有增加，但晶片的複雜性和電腦的複雜性卻在指數級增長，這也是生產力的體現。
我們開發的軟體變得越來越好，因為我們使用 AI 和超級電腦來幫助我們。員工人數的增長幾乎是線性的，但生產力卻在顯著提高。這適用於各個行業，我可以對我自己的業務進行檢驗，這一提升是確鑿無疑的。
所以，我們可以從各個行業中觀察到這一現象。當然，我們可能存在過度擬合的風險，但問題是如何從中提煉出普遍的規律。我們所觀察到的現像是否可能在其他行業中也出現？毋庸置疑，智能是世界上最有價值的資源，而我們現在正致力於大規模製造這種智能。
我們所有人都必須學會如何應對這一變化：當你被表現出色、超越你的 AI 包圍時，你該如何應對？這就是我的日常生活，我有 60 位直接下屬，他們之所以在管理團隊中任職，是因為他們在各自領域內是世界頂尖的，他們的表現遠遠超過我。
我與他們合作、對他們進行提示、規劃他們的工作，這些我都駕輕就熟。人們需要學習的是，如何成為 AI 智能體的“CEO”。他們需要具備創造力、堅強的意志力，掌握足夠的知識和推理能力，學會將複雜問題分解，並像我一樣，對這些 AI 進行程式設計以實現目標，這就是經營公司的訣竅。
你提到過人工智慧的協調一致性和安全性，也提到了中東正在發生的悲劇。我們在全球範圍內擁有大量的自主權和人工智慧應用。讓我們談談不良行為者、AI 的安全性以及與華盛頓的合作。你現在感覺如何？我們走在正確的道路上嗎？我們有足夠的協調嗎？
據我所知，Mark Zuckerberg 曾說過，戰勝壞人工智慧的方法就是讓好人工智慧更強大。你如何看待這一觀點，即如何確保人工智慧能為人類帶來積極的淨收益，而不是將我們引向一個反烏托邦的未來？
關於安全的討論非常重要，這是好的，但把 AI 抽象地看作一個巨大的神經網路，這種概念化的觀點可能並不合適。因為正如我們所知，AI 和大型語言模型雖然密切相關，但並不完全相同。目前正在進行的許多工作非常有意義。
首先，開源模型使得整個研究界和各行各業的公司都能參與進來，學習如何利用 AI 的能力來滿足自身的需求，這一點非常好。其次，人們常常低估了專門用於發明 AI 技術以保障 AI 安全的工作數量。用於篩選資料、訓練 AI、生成合成資料、拓展 AI 知識、減少幻覺等方面的 AI 技術創新正在蓬勃發展。
所有這些被建立的 AI，用於向量化、圖像化或者其他改進 AI 的工具，監控和保護其他 AI 的系統，都被低估了。我們已經建立了這樣的系統。整個行業都在為此做出貢獻，確立方法，組建紅隊，制定流程，建立模型卡等等。這些都是確保 AI 安全的重要步驟。
評估系統和基準測試系統也在以令人難以置信的速度被建構出來，這些工作的意義往往被低估了。即使沒有政府的強制性要求，今天在這一領域中建構人工智慧的參與者也在認真對待這些關鍵問題，並圍繞最佳實踐進行協調。
這一點常常被忽視和誤解。每個人都需要認識到，人工智慧是由多個人工智慧系統和工程系統組成的整體，這些系統從第一性原理出發，經過精心設計和嚴密測試。
談到監管時，我們要牢記，人工智慧本身是一種可以應用的能力。對於關鍵技術，適當的監管是必要的，但也要避免過度干預。大部分監管應該在應用層面進行。像 FAA（聯邦航空管理局）、NHTSA（國家公路交通安全管理局）、FDA（食品藥品監督管理局）等不同的生態系統，已經在對將人工智慧融入其中的技術應用進行有效監管。
目前，人工智慧正在被注入到各種技術應用中。因此，不要忽視已有的、也必將為人工智慧所啟動的龐大監管體系。但我們不能僅僅依賴一個全能的人工智慧委員會來實現這一目標，而是要理解每個監管機構的設立初衷和具體作用。
讓我們回到第一性原理。如果不談開源這個話題，我的合夥人 Bill Gurley 可能會讓我尷尬。你們最近推出了一個非常重要且功能強大的開源模型——Megatron。顯然，Meta 也在為開源事業做出巨大貢獻。我在 Twitter 上看到關於開放與封閉的討論非常多。
你如何看待自己開源模型在與 Frontier 競爭中保持競爭優勢的能力？這是第一個問題。第二個問題是，你是否認為未來會是開源模型與支撐商業運作的封閉源模型並存的局面？這兩者能否在安全性方面形成良性的張力？
開源和封閉原始碼雖然與安全性相關，但並不是全部。舉例來說，使用封閉原始碼模型作為維持創新的經濟模式引擎完全是合理的，對此我深表認同。這並不應該是非此即彼的選擇，而是開放與封閉的結合。
開放對於啟動多個行業至關重要。如果沒有開源，各個科學領域如何利用人工智慧？他們必須使用開源模型，開發適用於自身領域的人工智慧。雖然開源模型與人工智慧之間是相關的，但兩者並不完全等同。擁有開源模型並不意味著擁有完整的人工智慧能力，開源模型是推動人工智慧建立的重要工具。
由於開放原始碼的存在，金融服務、醫療保健、交通運輸等多個行業以及科學領域得以應用人工智慧，這無疑是巨大的進步。你是否看到對開源模型有巨大的需求？
首先，LLaMa 的下載量令人難以置信，Mark 和他的團隊在這方面的工作極為出色。這極大地啟動並吸引了各行各業和科學領域的參與。我們開發 Nemotron 的目的則是用於合成資料生成。從直覺上來看，單靠一個 AI 不斷生成自己的學習資料，這種方式並不完全可靠，因為很難預測這種自我循環能夠持續多少次。
我更傾向於這樣的設想：將一個超級聰明的人關在有襯墊的房間裡一個月，結果可能並不是變得更聰明。但是，如果有兩到三個人，他們彼此交換想法和知識，我們會發現他們的智慧能夠相互激發，集體變得更聰明。
因此，人工智慧模型之間的交換、互動、辯論、強化學習和合成資料生成是非常合理且有價值的。
我們的模型 Nemotron 350B，精準地說是 340B，是全球最強的獎賞系統模型，能夠提供最佳的評估能力。有趣的是，這個模型非常優秀，可以提升所有其他模型的性能，無論對方模型多麼優秀。我建議使用 Nemotron 340B 來改進各類模型，事實上，它已經在提升 LLaMa 以及所有其他模型的表現。
好了，接近尾聲了。作為 2016 年交付 DGX-1 的人，這一路程真是令人難以置信。你的旅程既非尋常，又充滿了驚喜。感謝你一路走來。特別是在早期，能夠生存下來本身就已經非常不易。你在 2016 年交付了第一台 DGX-1，而我們在 2022 年迎來了 AI 的寒武紀大爆發。
所以，我想問你一個我經常被問到的問題：你還能保持現在的工作狀態多久？你管理著 60 個直接下屬，推動著這場革命。你是否依然樂在其中？除此之外，還有沒有更想做的事情？這是關於我們剛才討論的所有問題的總結。答案是，我非常享受這份工作，我無法想像還有其他事情能讓我更加投入。
我們需要意識到，給別人留下“我的工作總是充滿樂趣”的印象並不恰當。我的工作並非時時刻刻充滿樂趣，我也從不期待如此。重要的是，工作的意義始終存在。我從不把自己看得太重，但我非常認真地對待我的工作和責任。
我非常認真地對待我們的貢獻和我們所處的這個時代。這並不意味著每時每刻都是愉悅的，但我始終熱愛這份工作。這就像生活中的其他方面——無論是家庭、朋友，還是孩子，雖然不總是令人愉快，但我們始終深深愛著。
因此，我在思考，我還能在這個領域工作多久？真正的問題是，我能保持自身的價值多久？而答案則在於我如何持續學習。老實說，現在我比過去更為樂觀。這不僅僅是因為我們今天討論的內容，而是因為我對自己持續保持價值的能力更有信心，對自己繼續學習的能力更加樂觀，這都要歸功於人工智慧（AI）。
我每天都在使用 AI，我相信你們也是如此。確實，我每天都離不開它。所有的研究工作，我都會借助 AI 的力量。即使是那些我已經知道答案的問題，我也會用 AI 再次驗證。而更驚人的是，在我提出進一步的問題後，AI 常常能夠揭示出我之前未曾瞭解的細節。這就是 AI 的魅力所在——你可以選擇任何話題，AI 都能為你提供深刻的見解。
AI 作為導師（AI as a tutor）、助手（AI as an assistant）和頭腦風暴的夥伴（AI as a partner to brainstorm with），在幫助我檢查工作成果方面發揮了不可思議的作用。這確實是一場徹底的革命，而這僅僅是開始。作為知識工作者，我的工作成果就是資訊，因此我相信 AI 將會顯著提高我對社會的貢獻。
如果真是如此，如果我能夠借助 AI 保持自身的價值並繼續做出貢獻，那麼我深知這份工作對我而言足夠重要，值得我繼續投入。而且更重要的是，AI 極大地提升了我的生活質量。說實話，還有什麼可抱怨的呢？
我要說的是，我們都在這個領域深耕了幾十年，我無法想像錯過這個重要的時刻。這無疑是我們職業生涯中最具影響力的時刻。我們對這種合作關係充滿感激，千萬不要錯過未來十年的發展。感謝這段思想上的合作與夥伴關係。你們讓我們更加智慧，非常感謝。
作為領導團隊的重要成員，你的角色至關重要。我們期待你以積極樂觀且穩妥的方式引領我們繼續前行。非常感謝你今天來到這裡，真的很高興能夠有這次交流的機會。再次感謝 Brad 和 Clark，你們做得很棒。最後，我想提醒大家，我們今天討論的內容僅代表個人觀點，不應被視為投資建議。 (數字開物)