你好,拉斯維加斯!新年快樂,歡迎來到 CES。這裡的觀眾大概有 3000 人,外面的庭院裡還有 2000 人在觀看,據我在四樓原本應該是 NVIDIA 展區的地方還有 1000 人在觀看這場主題演講。當然,全世界還有數百萬人正在觀看這場直播,共同開啟新的一年。嗯,我們大概有 15 公斤重的乾貨要在這裡塞給大家。非常高興見到大家。每隔 10 到 15 年,電腦行業就會發生一次重設。新的平台轉移會出現:從大型機到 PC,從 PC 到網際網路,從網際網路到雲,從雲到移動端。每一次,應用程式的世界都會瞄準一個新的平台,這就是為什麼它被稱為“平台轉移”。你為新的電腦編寫新的應用程式。但這一次,實際上有兩個平台轉移同時發生。當我們轉向 AI 時,應用程式將建立在 AI 之上。起初,人們認為 AI 本身就是應用程式。事實上,AI 確實是應用程式,但你們將會在 AI 之上建構應用程式。除此之外,軟體的運行方式、軟體的開發方式也發生了根本性的變化。電腦行業的整個製造堆疊(Foundry stack)正在被重新發明。你不再編寫軟體,而是訓練軟體。你不再在 CPU 上運行它,而是在 GPU 上運行它。過去的應用程式是預先錄製、預先編譯並在你的裝置上運行的,而現在的應用程式能夠理解上下文,並且每一次都完全從零開始生成每一個像素、每一個 Token(詞元)。計算因此被從根本上重塑了,這歸功於加速計算,歸功於人工智慧。這五層蛋糕的每一層現在都在被重新發明。這意味著過去十年中大約10兆美元的計算基礎設施現在正在向這種新的計算方式現代化。這意味著每年有數千億美元的風險投資正在投入到現代化和發明這個新世界的過程中。這也意味著 100兆美元的產業,其中一部分研發預算正在轉向人工智慧。人們問錢從那裡來?這就是錢的來源。從傳統方法到 AI 的現代化,研發預算從經典方法向人工智慧方法的轉移。巨大的投資正在湧入這個行業,這也解釋了為什麼我們如此忙碌,去年也不例外。去年是不可思議的一年。(PPT 翻頁卡頓)這裡有一張幻燈片要出來。這就是不做綵排的後果。這是今年的第一場主題演講。我希望這也是你們今年的第一場主題演講,否則你們就已經夠忙的了。我們要把蜘蛛網清掃一下。2025 年是不可思議的一年。似乎所有事情都在同一時間發生,事實上可能確實如此。首先當然是縮放定律(Scaling Laws)。2015 年,第一個我認為真正產生影響的語言模型 BERT 出現了,它帶來了巨大的變化。2017年Transformer 問世。直到五年後的 2022 年,ChatGPT 時刻發生了,它喚醒了世界對人工智慧可能性的認識。那之後的一年發生了一件非常重要的事情。來自 ChatGPT 的第一個o1模型,即第一個推理模型,完全革命性地發明了這個叫做測試時縮放(Test Time Scaling)的概念,這是一個非常符合常識的事情。我們不僅預訓練一個模型讓它學習,我們還用強化學習對它進行後訓練(Post-train),使它能夠學習技能。現在我們還有了測試時縮放,換句話說就是“思考”。你在即時地思考。人工智慧的每一個階段都需要巨大的計算量,而計算定律在繼續擴展。大型語言模型(LLM)繼續變得更好。與此同時,另一個突破發生了,這一突破發生在 2024 年。代理系統(Agentic Systems)在 2025 年開始湧現。它開始普及到幾乎所有地方。代理模型擁有推理、尋找資訊、做研究、使用工具、規劃未來、模擬結果的能力。突然之間,它們開始解決非常非常重要的問題。我最喜歡的代理模型之一叫做 Cursor,它徹底改變了我們在NVIDIA 進行軟體程式設計的方式。代理系統將從這裡真正起飛。當然,還有其他類型的 AI。我們知道大型語言模型並不是唯一的資訊類型。只要宇宙有資訊,只要宇宙有結構,我們就可以教一個大型語言模型、一種形式的語言模型去理解這些資訊,理解它的表徵,並將其轉化為 AI。其中最重要、最大的一個就是物理AI(Physical AI)。即理解自然法則的 AI。物理 AI 是關於 AI 與世界互動的,但世界本身有編碼的資訊,這叫做AI物理學(AI Physics)。也就是說,物理 AI 是與物理世界互動的 AI,而 AI 物理學是理解物理定律的 AI。最後,去年發生的最重要的事情之一是開放模型(Open Models)的進步。我們現在知道,當開源、當開放創新、當全世界每個公司和每個行業的創新被啟動時,AI 將會無處不在。實際上,去年我們看到了DeepSeek R1 的進步,這是第一個開放的推理系統模型。它讓世界大吃一驚,它真正啟動了整個運動。非常非常令人興奮的工作。我們對它非常滿意。現在我們在全世界有各種各樣的開放模型系統,我們現在知道開放模型也已經達到了前沿。雖然穩固地落後於前沿模型六個月,但每六個月都有一個新模型出現,這些模型因為這個原因變得越來越聰明。你可以看到下載量爆炸式增長。下載量增長如此之快,是因為初創公司想參與 AI 革命,大公司想要參與,研究人員想要參與,學生想要參與,幾乎每個國家都想要參與。數字形式的智能怎麼可能拋下任何人呢?所以開放模型去年真正徹底改變了人工智慧。整個行業將因此被重塑。其實我們很久以前就有這種預感。你們可能聽說過幾年前,我們開始建立和營運我們自己的 AI 超級電腦。我們稱之為DGX Cloud。很多人問,你們是要進入雲業務嗎?答案是不。我們建立這些 DGX 超級電腦是為了自己使用。事實證明,我們營運著數十億美元的超級電腦,以便我們可以開發我們的開放模型。我對我們正在做的工作感到非常高興。它開始吸引全世界和各行各業的關注,因為我們在許多不同的領域做著前沿的 AI 模型工作。我們在蛋白質和數字生物學方面的工作:Llama-Protina 用於合成和生成蛋白質。OpenFold 3 用於理解蛋白質結構。Evo 2 用於理解和生成多種蛋白質,也就是細胞表徵的開端。Earth-2:理解物理定律的 AI。我們在 ForecastNet 和 CorrDiff 方面的工作真正徹底改變了人們進行天氣預測的方式。Nemotron:我們在那裡做了開創性的工作。第一個混合 Transformer SSM 模型,速度極快,因此可以思考很長時間,或者非常快地思考不需要很長時間就能產生非常聰明的智能答案。Nemotron-3 是開創性的工作,你可以期待我們在不久的將來發佈 Nemotron-3 的其他版本。Cosmos:一個前沿的開放世界基礎模型,一個理解世界如何運作的模型。Groot:一個人形機器人系統,涉及關節、移動性、運動。這些模型、這些技術現在正在被整合,並且在每一個案例中都向世界開放。前沿的人形機器人模型向世界開放。今天我們要稍微談談Alpamayo,我們在自動駕駛汽車方面所做的工作。我們不僅開源模型,我們還開源了用於訓練這些模型的資料,因為只有那樣你才能真正信任模型是如何產生的。我們開源所有模型。我們幫助你們從中通過衍生產品。我們有一整套庫,我們稱之為 NeMo 庫、物理 NeMo 庫和 Clara NeMo 庫(BioNeMo)。這些庫中的每一個都是 AI 的生命周期管理系統,以便你可以處理資料、生成資料、訓練模型、建立模型、評估模型、為模型設定護欄,一直到部署模型。每一個庫都極其複雜,所有這些都是開放原始碼的。因此,在這個平台之上,NVIDIA 是一個前沿的 AI 模型建構者,我們以一種非常特殊的方式建構它。我們完全在公開環境中建構它,以便我們可以賦能每個公司、每個行業、每個國家成為這場 AI 革命的一部分。我對自己在那裡的工作感到無比自豪。事實上,如果你注意圖表,圖表顯示我們對這個行業的貢獻是首屈一指的,你會看到我們實際上會繼續這樣做,甚至加速。這些模型也是世界級的。(突然螢幕黑屏/技術故障)所有系統都癱瘓了。這種事在聖克拉拉(NVIDIA總部)從來不會發生。是因為拉斯維加斯嗎?是不是有人在外面的老虎機中大獎了?所有系統都癱瘓了。好吧,我想我的系統還是癱瘓的,但這沒關係。我會即興發揮。所以,不僅這些模型具有前沿能力,不僅它們是開放的,它們還在排行榜上名列前茅。這是我們非常自豪的一個領域。它們在智能方面名列前茅。我們有重要的模型可以理解多模態文件,也就是 PDF。世界上最有價值的內容都捕捉在PDF 中。但這需要人工智慧來找出裡面的內容,解釋裡面的內容,並幫助你閱讀它。所以我們的 PDF 檢索器、我們的PDF 解析器是世界級的。我們的語音識別模型絕對是世界級的。我們的檢索模型,基本上就是搜尋、語義搜尋、AI 搜尋——現代 AI 時代的資料庫引擎,也是世界級的。所以,我們經常佔據排行榜榜首。這是我們非常自豪的領域。所有這一切都是為了服務於你們建構AI智能體(AI Agents)的能力。這確實是一個開創性的發展領域。你知道,起初當 ChatGPT 出來時,人們說,天那,它產生了非常有趣的結果,但它產生了嚴重的幻覺(胡言亂語)。它產生幻覺的原因,當然是因為它可以記住過去的一切,但它無法記住未來和現在的一切。所以它需要以研究為基礎(Grounding)。在回答問題之前,它必須做基礎研究。推理的能力——關於我是否需要做研究?我是否需要使用工具?我如何將一個問題分解成步驟?每一個步驟都是 AI 模型知道如何做的,並將它們組合成一系列步驟來執行它從未做過、從未被訓練過的事情。這就是推理的奇妙能力。我們可以遇到以前從未見過的情況,並將其分解為我們知道如何做的情況、知識或規則,因為我們在過去經歷過。現在,大型語言模型已經實現了這一根本性的飛躍。使用強化學習和思維鏈(Chain of Thought)、搜尋和規劃以及強化學習中的所有這些不同技術的能力,使我們擁有這種基本能力成為可能,並且現在也完全開源了。但真正棒的事情是另一個突破,我第一次看到它是在 Aravind 的Perplexity 上。Perplexity 這家 AI 搜尋公司,真的是一家非常有創意的公司。當我第一次意識到他們同時使用多個模型時,我認為這完全是天才。當然,我們會這樣做。當然,AI 也會呼叫世界上所有偉大的 AI 來解決它想在推理鏈的任何部分解決的問題。這就是為什麼 AI 真正是多模態(Multi-modal)的。意味著它們理解語音、圖像、文字、視訊、3D 圖形和蛋白質。它是多模態的。它也是多模型(Multi-model)的。意味著它應該能夠使用最適合該任務的任何模型。根據定義,它是多雲(Multi-cloud)的。因為這些 AI 模型位於所有這些不同的地方。它也是混合雲(Hybrid cloud)的。因為如果你是一家企業公司,或者你製造了一個機器人或任何裝置,有時它在邊緣,有時在無線電訊號塔,也許有時在企業內部,或者也許在醫院這樣你需要資料即時就在你身邊的地方。無論那些應用程式是什麼,我們現在知道這就是未來 AI 應用程式的樣子。或者換一種方式思考,因為未來的應用程式是建立在 AI 之上的。這就是未來應用程式的基本框架。這個基本框架,這種能夠做我所說的那些事情的代理 AI 的基本結構——即多模型的結構,現在已經為各種各樣的 AI 初創公司注入了強勁動力。現在你也可以,因為有了所有的開放模型和我們提供給你們的所有工具,你可以定製你的 AI 來教你的 AI 別人沒有教過的技能。沒有別人讓他們的 AI 以那種方式變得智能或聰明。你可以為自己做這件事。這就是我們在 Nemotron、NeMo 以及我們在開放模型方面所做的所有事情旨在做的。你在它前面放一個智能路由器(Smart Router)。那個路由器本質上是一個管理者,根據你給出的提示的意圖,決定那一個模型最適合那個應用程式來解決那個問題。好的。所以現在當你思考這個架構時,你擁有了什麼?當你思考這個架構時,突然之間你有了一個 AI:一方面完全由你定製。你可以教它為你公司的特定技能。它是商業機密,你有深厚的領域專業知識。也許你擁有訓練該 AI 模型所需的所有資料。另一方面,你的 AI 根據定義總是處於前沿。你總是擁有一方面的前沿技術。另一方面,你總是定製化的。而且它應該能直接運行。所以我們想我們會做一個最簡單的例子來讓你們可以使用。整個框架我們稱之為Blueprint(藍圖),我們的藍圖已經整合到世界各地的企業 SaaS 平台中,我們對進展感到非常高興。但我們要做的是向你們展示一個簡短的例子,說明任何人都可以做什麼。(演示視訊開始)(畫外音:讓我們建構一個個人助理。我想讓它幫我處理日曆、郵件、待辦事項列表,甚至幫我照看家裡。我使用 Brev 將我的 DGX Spark 變成個人云。所以我可以使用相同的介面,無論我是使用雲 GPU 還是 DGX Spark。我使用前沿模型 API 來輕鬆開始。)(音樂)(畫外音:我想讓它幫我處理郵件,所以我為我的代理建立了一個郵件工具來呼叫。我希望我的郵件保持私密,所以我將加入一個在 Spark 上本地運行的開放模型。現在,對於任何工作,我都希望代理為正確的任務使用正確的模型。所以我將使用一個基於意圖的模型路由器。這樣,需要郵件的提示將留在我的 Spark 上,其他所有內容都可以呼叫前沿模型。)(畫外音:我想讓我的助手與我的世界互動,所以我將它連接到 Hugging Face 的 Reachi 迷你機器人。我的代理通過工具呼叫控制Reachi 的頭、耳朵和攝影機。我想給 Reachi 一個聲音,我真的很喜歡 ElevenLabs,所以我將連接他們的API。)Reachi (機器人聲音): 嗨,我是運行在DGX Spark 上的 Reachi。使用者: 嘿 Reachi,今天我的待辦事項列表上有什麼?Reachi: 你今天的待辦事項列表:買雜貨、雞蛋、牛奶、黃油,還要把新指令碼發給 Jensen。使用者: 好的,給Jensen 發個更新。告訴他我們在今天結束前會給他。Reachi: 好的,會做的。使用者: Reachi,這兒還有個草圖。你能把它變成建築渲染圖嗎?Reachi: 當然。(音樂,生成渲染圖)使用者: 不錯。現在做一個視訊,帶我參觀一下這個房間。Reachi: 給你。使用者: 太棒了。通過Brev,我可以分享對我的 Spark 和 Reachi 的存取權。所以我要把它分享給Anna。Anna: 嘿,Reachi。Potato(寵物名)在幹什麼?Reachi: 他在沙發上。我記得你不喜歡這樣。我會叫他下去。Potato,下沙發!(畫外音:隨著開放原始碼的所有進展,看到你能建構什麼是令人難以置信的。我很想看看你會創造什麼。)(演示視訊結束)(音樂)這難道不令人難以置信嗎?現在,令人驚奇的是,這現在是完全微不足道的事情。這現在完全是微不足道的。然而,就在幾年前,所有這些都是不可能的。絕對無法想像。這種使用語言模型建構應用程式的基本框架——使用那些預訓練的、專有的、前沿的語言模型,並將其與定製的語言模型結合到一個代理框架、一個推理框架中,使你可以訪問工具和檔案,甚至連接到其他代理。這基本上就是現代 AI 應用程式或應用程式的架構。我們建立這些應用程式的能力非常快。注意,如果你給它以前從未見過的應用程式資訊,或者以一種並不完全像你想的那樣表示的結構,它仍然可以推理並盡最大努力通過資料和資訊來推理,試圖理解如何解決問題。這就是人工智慧。好的,所以這個基本框架現在正在被整合。正如我剛才描述的一切,我們有幸與世界上一些領先的企業平台公司合作。例如 Palantir,他們整個 AI 和資料處理平台正在由NVIDIA 加速。ServiceNow,世界領先的客戶服務和員工服務平台。Snowflake,雲端頂級資料平台。那裡正在做令人難以置信的工作。CodeRabbit,我們在 NVIDIA 各處都在使用CodeRabbit。CrowdStrike,建立 AI 來檢測和發現 AI威脅。NetApp,他們的資料平台現在上面有 NVIDIA 的語義 AI 和代理系統,用於做客戶服務。但重要的是這一點。這不僅是現在開發應用程式的方式,這將是你平台的使用者介面。所以無論是 Palantir、ServiceNow、Snowflake 還是我們要合作的許多其他公司,代理系統就是介面。不再是 Excel 和一堆你需要輸入資訊的方塊。也許不再僅僅是命令列。所有這些多模態資訊現在都成為可能,你與平台互動的方式更像是……如果你願意的話,就像你與人互動一樣簡單。這就是被代理系統徹底革命化的企業 AI。接下來的事情是物理AI(Physical AI)。這是你們聽我談論了幾年的領域。事實上,我們在這方面已經工作了八年。問題是,如何將那種在電腦內部很智能、通過螢幕和揚聲器與你互動的東西,變成可以與世界互動的東西?也就是說,它可以理解世界如何運作的常識。物體恆存性(Object permanence):如果我把視線移開再看回來,那個物體還在那裡。因果關係(Causality):如果我推它,它會倒下。它理解摩擦力和重力。理解慣性:一輛重型卡車沿路行駛需要更多的時間停下來,一個球會繼續滾動。這些概念對一個小孩子來說都是常識,但對 AI 來說完全是未知的。所以我們必須建立一個系統,允許 AI 學習物理世界的常識,學習它的定律,當然也要能夠從資料中學習,而資料是非常稀缺的。並且要能夠評估那個 AI 是否在工作,這意味著它必須在一個環境中進行模擬。AI 如何知道它正在執行的動作是否符合它應該做的,如果它沒有能力模擬物理世界對其動作的反應?模擬其動作的反應對於評估它非常重要。否則,就沒有辦法評估它。每次都不一樣。所以這個基本系統需要三台電腦。1.第一台電腦,當然是我們知道的 NVIDIA 製造的用於訓練AI模型的電腦。2.另一台電腦,我們知道是用於推理的電腦。推理模型本質上是運行在汽車裡、機器人裡、工廠裡或邊緣任何地方的機器人電腦。3.但必須有第三台電腦,它是為模擬而設計的。模擬幾乎是 NVIDIA 所做一切的核心。這是我們最舒適的地方,模擬確實是我們用物理 AI 所做幾乎所有事情的基礎。所以我們有三台電腦和運行在這些電腦上的多個堆疊、這些庫使其變得有用。Omniverse 是我們的數字孿生、基於物理的模擬世界。Cosmos,正如我之前提到的,是我們的基礎模型。不是語言的基礎模型,而是世界的基礎模型。並且也與語言對齊。你可以說像“球發生了什麼?”這樣的話,它們會告訴你球正滾下街道。所以是一個世界基礎模型。然後當然是機器人模型。我們有兩個。一個叫 Groot。另一個叫Alpamayo,我將要告訴你們。現在,對於物理 AI,我們必須做的最重要的事情之一是首先建立用於訓練 AI 的資料。資料從那裡來?與其像語言那樣,因為我們建立了一堆文字,那是我們認為 AI 可以從中學習的基準事實(Ground Truth)。我們如何教 AI 物理的基準事實?有非常多的視訊,非常多的視訊,但這幾乎不足以捕捉我們需要的多樣性和互動類型。這就是偉大的頭腦聚集在一起,將曾經的計算轉化為資料的地方。現在使用以物理定律為基礎和條件的合成資料生成(Synthetic Data Generation),以基準事實為基礎和條件,我們可以有選擇地、巧妙地生成資料,然後我們可以用這些資料來訓練 AI。例如,輸入到這個 AI、這個Cosmos 世界模型(左邊的)的是交通模擬器的輸出。這個交通模擬器對於 AI 學習來說幾乎不夠。我們可以把這個放入Cosmos 基礎模型中,生成環繞視訊,它是基於物理的、物理上合理的,AI 現在可以從中學習。這有太多例子了。讓我向你們展示 Cosmos 能做什麼。(Cosmos 演示視訊開始)(畫外音:物理 AI 的 ChatGPT時刻即將到來,但挑戰是顯而易見的。物理世界是多樣且不可預測的。收集真實世界的訓練資料緩慢且昂貴,而且永遠不夠。)(畫外音:答案是合成資料。它始於 NVIDIA Cosmos,一個用於物理AI 的開放前沿世界基礎模型。它在網際網路規模的視訊、真實駕駛和機器人資料以及 3D 模擬上進行了預訓練。Cosmos學習了世界的統一表徵,能夠對齊語言、圖像、 3D 和動作。)(畫外音:它執行物理 AI 技能,如從單張圖像進行生成、推理和軌跡預測。Cosmos從3D 場景描述中生成逼真的視訊。從駕駛遙測和感測器日誌中生成物理上連貫的運動。)(畫外音:來自規劃模擬器、多攝影機環境或場景提示的環繞視訊。它將邊緣情況(Edge Cases)帶入生活。開發者可以在Cosmos 中運行互動式閉環模擬。當動作產生時,世界會做出反應。)(畫外音:Cosmos 進行推理。它分析邊緣場景,將它們分解為熟悉的物理互動,並推理接下來可能發生的事情。Cosmos 將計算轉化為資料,為長尾情況訓練自動駕駛汽車(AV),並訓練機器人如何適應每一種場景。)(演示視訊結束)(音樂)我知道這令人難以置信。Cosmos 是世界領先的基礎模型。世界基礎模型。它已經被下載了數百萬次,在世界各地使用,讓世界為這個物理 AI 的新時代做好準備。我們也自己使用它。我們自己使用它來建立我們的自動駕駛汽車。用於場景生成和用於評估。我們可以擁有讓我們有效地行駛數十億、數兆英里的東西,但在電腦內部完成。我們取得了巨大的進步。今天,我們宣佈Alpamayo,世界上第一個會思考、會推理的自動駕駛汽車AI。Alpamayo 是端到端(End-to-End)訓練的。從字面上看,從攝影機輸入到執行輸出。攝影機輸入:大量由其自身駕駛或人類演示駕駛的里程,並且我們有大量由 Cosmos 生成的里程。除此之外,成千上萬的例子被非常非常仔細地標記,以便我們可以教汽車如何駕駛。Alpamayo 做了一些非常特別的事情。它不僅接收感測器輸入並啟動方向盤、剎車和加速,它還推理它即將採取的行動。它告訴你它將採取什麼行動,它得出該行動的理由,當然還有軌跡。所有這些都直接耦合,並由大量人類訓練資料以及 Cosmos 生成的資料組合進行非常具體的訓練。結果簡直令人難以置信。你的車不僅像你期望的那樣駕駛,而且它駕駛得如此自然,因為它直接從人類演示者那裡學習,而且在每一個場景中,當它遇到場景時,它會推理它要做什麼,並推理它即將要做什麼。這之所以如此重要,是因為駕駛的長尾效應(Long Tail)。我們不可能簡單地為每一個國家、每一個可能發生的情況、所有人口收集每一個可能的場景。然而,很有可能如果將每個場景分解成一堆其他的更小的場景,對於你要理解來說是很正常的。所以這些長尾將被分解為相當正常的情況,這輛車知道如何處理。它只需要對其進行推理。所以讓我們來看一看。你們即將看到的一切都是一次通過(One shot)。無手操作。(自動駕駛演示視訊開始)(音樂)聲音:導航至目的地。系好安全帶。(音樂)AI 聲音/提示:Heat. Heat. Heat.(註:此處為 AI 思考過程的聲音化或介面提示音,可能指熱力圖關注點或特定指令)(音樂)AI 聲音/提示:Heat.(音樂,車輛在複雜路況行駛,包括避讓、轉彎)AI 聲音/提示:Heat. Heat.AI 聲音/提示:Heat. Heat.(音樂)AI 聲音/提示:Heat. Heat.(掌聲)(音樂)AI 聲音/提示:Heat.(音樂)(掌聲)AI 聲音/提示:Heat.(音樂)(音樂)聲音:你已到達。(演示視訊結束)我們八年前開始研究自動駕駛汽車。原因是因為我們在早期推理出深度學習和人工智慧將重新發明整個計算堆疊。如果我們想要瞭解如何導航並將行業引向這個新的未來,我們必須擅長建構整個堆疊。就像我之前提到的,AI 是一個五層蛋糕。最底層是土地、電力和外殼。在機器人技術的情況下,最底層是汽車。上面一層是晶片,GPU,網路晶片,CPU,所有這類東西。再上面一層是基礎設施。在這種特定情況下,正如我提到的物理 AI,那個基礎設施是Omniverse 和 Cosmos。再上面是模型。在我剛才展示的模型層中,這裡的模型叫做Alpamayo。今天,Alpamayo 已經開源。這項令人難以置信的工作。這花了數千人。我們的 AV(自動駕駛)團隊有數千人。作為參考,我們的合作夥伴 Ola,我想 Ola 就在觀眾席的某個地方。梅賽德斯(Mercedes)五年前同意與我們合作,使這一切成為可能。我們想像有一天,道路上的十億輛汽車都將是自動駕駛的。你可以擁有一輛你正在編排並從某人那裡租用的 Robo Taxi(自動駕駛計程車),或者你可以擁有它並且它自己駕駛,或者你可以決定自己駕駛。但是每一輛車都將擁有自動駕駛汽車的能力。每一輛車都將由 AI 驅動。所以在這種情況下,模型層是Alpamayo,而上面的應用程式是梅賽德斯-奔馳。好的。所以這整個堆疊是我們的第一個NVIDIA First 全堆疊努力,我們一直致力於此,我很高興來自 NVIDIA 的第一輛 AV 汽車將在第一季度上路,然後在第二季度去歐洲,這裡是美國第一季度,然後歐洲第二季度,我想亞洲是第三季度和第四季度。而且強有力的事情是,我們將繼續用下一版本的Alpamayo和之後的版本更新它。我現在毫無疑問,這將是最大的機器人行業之一,我很高興我們致力於此,它教會了我們大量關於如何幫助世界其他地方建構機器人系統的知識。那種深刻的理解,知道如何自己建構它,自己建構整個基礎設施,並知道機器人系統需要什麼樣的晶片。在這個特定案例中,雙 Orin,下一代雙 Thor。這些處理器是為機器人系統設計的,並且是為了最高等級的安全能力而設計的。這輛車剛剛獲得評級。它剛剛投入生產。梅賽德斯-奔馳 CLA 剛剛被NCAP 評為世界上最安全的汽車。這是我所知道的唯一一個每一行程式碼、晶片、系統、每一行程式碼都經過安全認證的系統。整個模型系統基於感測器是多樣化和冗餘的,自動駕駛汽車堆疊也是如此。Alpamayo 堆疊是端到端訓練的,擁有令人難以置信的技能。然而,直到你永遠駕駛它,沒有人知道它是否會絕對安全。所以我們用另一個軟體堆疊來作為護欄(Guardrail),下面是一個完整的AV 堆疊。那個完整的 AV 堆疊是建構為完全可追溯的,我們花了大約五年時間來建構它。實際上大概六七年來建構第二個堆疊。這兩個軟體堆疊相互鏡像,然後我們有一個策略和安全評估器(Policy and Safety Evaluator)來決定:這是我有信心並可以推理出安全駕駛的事情嗎?如果是這樣,我會讓Alpamayo來做。如果這是一種我不太自信的情況,並且安全策略評估器決定我們要回到一個非常更簡單、更安全的護欄系統,那麼它就會回到經典的 AV 堆疊。這是世界上唯一同時運行這兩個 AV 堆疊的汽車,所有安全系統都應該具有多樣性和冗餘性。我們的願景是有一天每一輛車、每一輛卡車都將是自動駕駛的,我們一直在朝著那個未來努力。這整個堆疊是垂直整合的。當然,在梅賽德斯-奔馳的案例中,我們一起建構了整個堆疊。我們將部署這輛車。我們將營運這個堆疊。我們將維護這個堆疊,只要我們還活著。然而,就像我們作為一家公司所做的一切一樣。我們建構整個堆疊,但整個堆疊對生態系統是開放的。與我們合作建構 L4 和 Robo Taxi 的生態系統正在擴大,並走向各地。我完全預計這將會是——這對於我們來說已經是一個巨大的業務。這對我們來說是一個巨大的業務,因為他們用它來訓練我們的訓練資料、處理資料和訓練他們的模型。在某些情況下,他們用它來生成合成資料;在一些汽車公司,他們幾乎只建構汽車內部的電腦晶片;有些公司與我們進行全端合作;有些公司與我們進行部分合作。好的。所以不管你決定使用多少都沒有關係。我唯一的請求是儘可能多地使用一點視訊,整個東西都是開放的。這將是第一個大規模主流 AI 物理 AI 市場。現在我認為我們都可以完全同意,從非自動駕駛汽車到自動駕駛汽車的這個拐點可能就在這個時候發生。在接下來的 10 年裡,我相當確定世界上很大一部分汽車將是自動駕駛或高度自動駕駛的。但我剛才描述的這個基本技術——使用三台電腦、使用合成資料生成和模擬——適用於每一種形式的機器人系統。它可能是一個只是關節、機械手的機器人,也許是一個移動機器人,也許是一個完全人形的機器人。所以下一個旅程,機器人系統的下一個時代將是,你知道,機器人。這些機器人將會有各種不同的大小和……我邀請了一些朋友。他們來了嗎?嘿夥計們,快點。我有很多東西要講。快點,快點。你們告訴R2-D2 你們要來這裡嗎?你們告訴了嗎?還有 C-3PO。好的。好吧。過來。在此之前,現在,真正的一件事是……你們有Jetson。它們裡面有小小的 Jetson 電腦。它們是在 Omniverse 內部訓練的。這個怎麼樣?讓我們向大家展示一下你們這幫傢伙是在那個模擬器裡學會如何成為機器人的。你們想看看那個嗎?好的,讓我們看看那個。請播放。真的嗎?(機器人模擬視訊開始)(音樂)C-3PO/R2-D2 在 Omniverse 模擬環境中跌跌撞撞、學習行走的畫面(C-3PO 看著 R2-D2)聲音:看,什麼都沒有。(視訊結束)這難道不令人驚奇嗎?這就是你們學會成為機器人的方式。你們完全是在 Omniverse 內部完成的。機器人模擬器叫做Isaac Sim 和 Isaac Lab。任何想製造機器人的人,你知道,沒有人會像你們這麼可愛。但現在我們有所有這些……看看所有這些我們正在製造機器人的朋友。我們在製造大的。不,就像我說的,沒有人像你們這麼可愛。但我們有 Neura Robotics,我們有 Agility Robotics。那邊的 Agility。我們有 LG 在這邊。他們剛剛宣佈了一個新機器人。Caterpillar(卡特彼勒),他們有最大的機器人。那個是送到你家的食物配送機器人,連接到 Uber Eats。那是 Serve Robotics。我愛那些傢伙。Agility, Boston Dynamics(波士頓動力),不可思議。你有手術機器人,你有來自 Franka 的機械臂機器人,你有 Universal Robotics 的機器人,數量驚人的不同機器人。所以這是下一章。我們將來會更多地談論機器人技術。但這最終不僅僅是關於機器人。我知道一切都是關於你們這幫傢伙的。它是關於到達那裡。世界上最重要的行業之一將被物理 AI 和 AI 物理學徹底改變,那就是開啟了我們 NVIDIA 所有人的行業。如果不是我要談到的這些公司,這就不可能實現。我很高興所有這些公司,從Cadence 開始,將加速一切。Cadence CUDA-X 整合到他們所有的模擬和求解器中。他們有 NVIDIA 物理 AI,他們將用於不同的工廠和工廠模擬。你有 AI 物理學被整合到這些系統中。所以無論是 EDA 還是 SDA,在未來的機器人系統中,我們將擁有基本上相同的技術,讓你們這幫傢伙成為可能的技術現在完全徹底改變這些設計堆疊。Synopsys(新思科技)。沒有 Synopsys,你知道 Synopsys 和 Cadence 在晶片設計領域是完全不可或缺的。Synopsys 在邏輯設計和 IP 方面處於領先地位。而在 Cadence 的情況下,他們領導物理設計、佈局布線、模擬和驗證。Cadence 在模擬和驗證方面令人難以置信。他們倆都在進入系統設計和系統模擬的世界。所以在未來,我們將在 Cadence 和 Synopsys 內部設計你們的晶片。我們將設計你們的系統,並在這些工具內部模擬整個事物和模擬一切。那就是你們的未來。我們會給……是的。你們將會在這些平台內部誕生。相當驚人,對吧?所以我們很高興我們正在與這些行業合作,就像我們將 NVIDIA 整合到 Palantir 和 ServiceNow 一樣,我們將 NVIDIA 整合到計算最密集的模擬行業 Synopsys 和 Cadence 中。今天我們宣佈Siemens(西門子)也在做同樣的事情。我們將整合 CUDA-X、物理 AI、代理 AI、NeMo、Nemotron 深度整合到 Siemens 的世界中。原因是這樣的。首先,我們設計晶片,未來所有的晶片都將由 NVIDIA 加速。你們會對此感到非常高興。我們將擁有代理晶片設計師(Agentic Chip Designers)和系統設計師與我們一起工作,幫助我們做設計,就像我們今天有代理軟體工程師幫助我們的軟體工程師編碼一樣。所以,我們將擁有代理晶片設計師和系統設計師。我們將在其中創造你們。但之後我們要建造你們。我們必須建造工廠,製造你們的工廠。我們必須設計組裝你們所有人的生產線。而這些製造工廠本質上將是巨大的機器人。不可思議,對吧?我知道。我知道。所以你們將在電腦中被設計。你們將在電腦中被製造。你們將在電腦中被測試和評估,早在你們必須花時間應對重力之前。我知道。你們知道怎麼應對重力嗎?你們能跳嗎?能跳嗎?(機器人做動作)好的。行了。別顯擺了。好的。所以這……所以現在,使 NVIDIA 成為可能的行業,我只是很高興我們正在創造的技術現在處於如此複雜的水平和能力,我們可以回去幫助他們徹底改變他們的行業。所以從他們開始的事情,我們現在有機會回去幫助他們徹底改變他們的行業。讓我們看看我們要和 Siemens 做的事情。來吧。(西門子合作視訊開始)(畫外音:物理 AI 的突破正讓 AI 從螢幕走向我們的物理世界。正是時候,因為世界正在為晶片、電腦、救命藥物和 AI 建造各種各樣的工廠。隨著全球勞動力短缺的惡化,我們比以往任何時候都更需要由物理 AI 和機器人驅動的自動化。)(畫外音:這就是 AI 與世界上最大的物理行業相遇的地方,是NVIDIA 和 Siemens 合作的基礎。近兩個世紀以來,Siemens 建立了世界的工業,現在它正在為AI 時代重新發明它。)(畫外音:Siemens 正在將NVIDIA CUDA-X 庫、AI 模型和 Omniverse 整合到其 EDA、CAE 和數字孿生工具及產品組合中。)(畫外音:我們要一起將物理 AI 帶入完整的工業生命周期。從設計和模擬到生產和營運。)(音樂)(畫外音:我們要站在新工業革命的開端,這是由 NVIDIA 和 Siemens為下一個工業時代建立的物理 AI 時代。)(視訊結束)不可思議,對吧,夥計們?你們覺得怎麼樣?好的,抓緊了。抓緊了。所以這是,你知道,如果你看看世界的模型,毫無疑問 OpenAI 是今天領先的 Token 生成者。OpenAI 生成的 Token 比其他任何東西都多。第二大群體,第二大可能是開放模型。我的猜測是隨著時間的推移,因為有這麼多公司、這麼多研究人員、這麼多不同類型的領域和模態,開源模型將是迄今為止最大的。讓我們談談一個真正特別的人。你們想這樣做嗎?讓我們談談Vera Rubin。Vera Rubin。是的,繼續。她是一位美國天文學家。她是第一個觀察到……她注意到星系的尾部移動的速度與星系的中心差不多快。嗯,我知道這說不通。這說不通。牛頓物理學會說,就像太陽系一樣,離太陽較遠的行星繞太陽公轉的速度比離太陽較近的行星慢。因此,除非有不可見的物體,我們稱之為——她發現了——暗物質(Dark Matter),儘管我們看不到它,但它佔據空間,否則這發生是沒有道理的。所以 Vera Rubin 是我們以此命名我們下一台電腦的人。這難道不是個好主意嗎?我知道。(掌聲)好的。嘿,Vera Rubin是為瞭解決我們面臨的這個根本挑戰而設計的。AI 所需的計算量正在飆升。對 NVIDIA GPU 的需求正在飆升。它飆升是因為模型每年增加 10 倍,一個數量級。更不用說,正如我提到的,o1 的引入是 AI 的一個拐點。不再是一次性回答(One-shot),推理現在是一個思考過程。為了教 AI 如何思考,強化學習和非常顯著的計算被引入到後訓練中。不再僅僅是監督微調或稱為模仿學習或監督訓練。你們現在有了強化學習,本質上是電腦自己嘗試不同的迭代,學習如何執行任務。因此,預訓練、後訓練、測試時縮放的計算量因此爆炸式增長。現在我們做的每一個推理,不再僅僅是一次性,你可以看到 AI 在思考,這是我們所讚賞的。它思考的時間越長,通常產生的答案就越好。所以測試時縮放導致要生成的 Token 數量每年增加5倍。更不用說,與此同時,AI 的競賽正在進行。每個人都試圖達到下一個水平。每個人都試圖達到下一個前沿。每當他們達到下一個前沿時,上一代 AI Token 的成本就開始每年下降大約10倍。每年 10 倍的下降實際上告訴你在發生一些不同的事情。它在說競爭如此激烈。每個人都試圖達到下一個水平,有人正在達到下一個水平。因此,所有這一切都是一個計算問題。你計算得越快,你就能越快達到下一個前沿的下一個水平。所有這些事情都在同一時間發生。所以我們決定我們必須每年推進最先進的計算技術。一年都不能落下。我們一年半前開始發貨 GB200。現在我們正在全面量產GB300。如果 Vera Rubin 要趕上今年,它現在必須已經投產了。所以今天我可以告訴你們,Vera Rubin 已經全面投產。你們想看看 Vera Rubin 嗎?好的,來吧。請播放。(Vera Rubin 介紹視訊開始)(畫外音:Vera Rubin 恰好趕上了 AI 的下一個前沿。這就是我們如何建構它的故事。架構,一個由六個晶片組成的系統,工程設計為一體工作,源於極致的協同設計(Extreme Co-design)。)(畫外音:它始於 Vera,一個定製設計的CPU,性能是上一代的兩倍。以及 Rubin GPU。Vera 和 Rubin 從一開始就協同設計,以便更快、更低延遲地雙向一致地共享資料。)(畫外音:然後 17,000 個元件聚集在一個Vera Rubin 計算板上。高速機器人以微米級精度放置元件,然後 Vera CPU 和兩個 Rubin GPU 完成組裝。能夠提供 100 Petaflops 的 AI 算力,是其前身的五倍。)(畫外音:AI 需要快速的資料。ConnectX-9為每個GPU 提供每秒 1.6 Terabits 的橫向擴展頻寬。BlueField-4 DPU 解除安裝儲存和安全性,以便計算完全專注於AI。)(畫外音:Vera Rubin 計算托盤(Compute Tray)完全重新設計,沒有電纜、軟管或風扇。具有一個 BlueField-4 DPU、八個ConnectX-9 網路卡、兩個 Vera CPU 和四個 Rubin GPU,這是 Vera Rubin AI 超級電腦的計算建構塊。)(畫外音:接下來是第六代 NVLink Switch,移動的資料比全球網際網路還多,連接18 個計算節點,擴展到 72 個 Rubin GPU,作為一個整體運行。)(畫外音:然後是 Spectrum-X Ethernet Photonics(乙太網路光子學),世界上第一個具有 512 個通道和 200 Gbit 能力的共封裝光學(Co-packaged Optics)乙太網路交換機,將成千上萬的機架擴展為 AI 工廠。)(畫外音:自設計開始以來的 15,000 個工程師年。第一個Vera Rubin NVL72 機架上線。六個突破性晶片,18 個計算托盤,9 個 NVLink 交換機托盤,220兆個電晶體,重近兩噸。向 AI 下一個前沿的巨大飛躍。Rubin 來了。)(視訊結束)你們覺得怎麼樣?這是一個Rubin Pod。16 個機架中有 1152 個 GPU。正如你們所知,每一個機架有 72 個 Vera Rubin 或 72 個 Rubin。每一個 Rubin 是兩個實際的 GPU 晶片連接在一起。我要把它展示給你們看,但這有幾件事……好吧,我待會兒再告訴你們。我不能一下子告訴你們所有事情。好吧,我們設計了六種不同的晶片。首先,我們要公司內部有一條規則,這是一條好規則。任何新一代都不應該更改超過一兩個晶片。但問題是這樣的。正如你們所看到的,我們在描述每一個被描述的晶片中的電晶體總數。我們知道摩爾定律在很大程度上已經放緩。所以我們年復一年能得到的電晶體數量不可能跟上 10 倍大的模型。它不可能跟上每年生成更多 Token 的 5 倍。它不可能跟上 Token 成本下降將如此激進的事實。如果行業要繼續進步,就不可能跟上這種速度,除非我們部署激進的極致協同設計(Extreme Co-design)。基本上同時在整個堆疊的所有晶片上進行創新。這就是為什麼我們決定這一代我們別無選擇,只能重新設計每一個晶片。現在,剛才描述的每一個晶片本身都可以是一個新聞發佈會,而在過去的日子裡,可能有一整個公司專門做這個。每一個都是完全革命性的,同類中最好的。Vera CPU,我為它感到非常自豪。在一個受電力限制的世界裡,Gray CPU(註:口誤,應指Grace 的繼任者 Vera)性能是兩倍。在一個受電力限制的世界裡。它是世界上最先進 CPU 每瓦性能的兩倍。它的資料速率是瘋狂的。它是為處理超級電腦而設計的。Vera 是一個不可思議的 GPU(註:口誤,應指CPU)。Grace是一個不可思議的 GPU(註:口誤,應指 CPU)。現在 Vera增加了單線程性能,增加了記憶體容量,僅僅是急劇增加了一切。這是一個巨大的晶片。這是 Vera CPU。這是一個 CPU。這連接到 Rubin GPU。看看那個東西。這是一個巨大的晶片。現在,真正特別的事情是,我會過一遍這些。我想這需要三隻手,四隻手來做這個。好的。所以,這是 Vera CPU。它有 88 個 CPU 核心。CPU 核心被設計為多線程的。但Vera 的多線程特性被設計為每一個 176 個線程都可以獲得其全部性能。所以本質上好像有 176 個核心,但只有88 個物理核心。這些核心是使用一種叫做空間多線程的技術設計的。但 IO 性能令人難以置信。這是Rubin GPU。浮點性能是 Blackwell 的 5倍。但重要的事情是看底線。底線是它的電晶體數量僅為 Blackwell 的 1.6倍。這某種程度上告訴了你今天半導體物理的水平。如果我們不做協同設計,如果我們不在整個系統的每一個晶片層面上做極端的協同設計,我們怎麼可能提供那怕是最好每年 1.6 倍的性能水平呢?因為那就是你擁有的電晶體總數。即使你的每個電晶體性能多一點,比如說 25%,你也不可能從你得到的電晶體數量中獲得 100% 的良率。所以 1.6 倍某種程度上為你每年性能能走多遠設定了上限,除非你做一些極端的事情。我們稱之為極致協同設計。好吧,我們做的一件事,這是一個偉大的發明。它叫做NVFP4 Tensor Core。我們晶片內部的 Transformer 引擎不僅僅是我們放入資料路徑的某種 4 位浮點數。它是一個完整的處理器,一個處理單元,瞭解如何動態地、自適應地調整其精度和結構以處理 Transformer 的不同層級,以便你可以在可能損失精度的地方實現更高的吞吐量,並在你需要的地方回到儘可能高的精度。那種動態執行此操作的能力。你不能在軟體中這樣做,因為顯然它運行得太快了。所以你必須能夠在處理器內部自適應地做到這一點。這就是 NVFP4。當有人說 FP4 或 FP8 時,這對我們來說幾乎沒有任何意義。原因是讓它工作的是 Tensor Core 結構和所有的演算法。NVFP4,我們已經為此發表了論文。它能夠保持的吞吐量和精度水平是完全不可思議的。這是開創性的工作。如果是未來行業希望我們將這種格式和這種結構作為行業標準,我也不會感到驚訝。這是完全革命性的。這就是為什麼即使我們只有 1.6 倍的電晶體數量,我們也能提供如此巨大的性能提升。好的。所以這是……現在一旦你有了一個偉大的處理節點,這就是處理器節點,在這裡……例如這裡,讓我做這個……這就是……哇,它超級重。你必須是一個身材非常好的CEO 才能做這份工作。好的。所以這東西是……我猜這大概……我不知道,幾百磅。(有人笑)我也覺得這很有趣。來吧。(看向後台) 可能是這樣的。大家都走了。不,我不這麼認為。好的。所以看看這個。這是最後一個。我們徹底改變了整個 MGX 機箱。這個節點。43 根電纜,零電纜。六根管子,這兒只有兩根。組裝這個需要兩個小時。如果你幸運的話,需要兩個小時。當然,你可能會組裝錯。你得重新測試,測試,重新組裝。所以組裝過程極其複雜。作為我們第一批以這種方式解構的超級電腦之一,這是可以理解的。這個從兩小時變成了 5 分鐘。80% 液冷。100% 液冷。是的。真的,真正的突破。好的。所以,這是新的計算底盤。連接所有這些到機架頂部交換機、東西向流量的是Spectrum-X網路卡(NIC)。這是世界上最好的網路卡。毫無疑問,NVIDIA 的 Mellanox,很久以前加入我們的收購 Mellanox。他們在高性能計算方面的網路技術是世界上最好的,毋庸置疑。演算法、晶片設計、所有的互連、運行在上面的所有軟體堆疊、他們的 RDMA,絕對絕對首屈一指,世界上最好的。現在它有能力做可程式設計 RDMA 和資料路徑加速器,以便像 AI 實驗室這樣的合作夥伴可以為他們想要如何在系統中移動資料建立自己的演算法。但這完全是世界級的 ConnectX-9,Vera CPU 是協同設計的,我們從未透露過。直到 CX9 出現我們才從未發佈過,因為我們為一種新型處理器協同設計了它。你知道,ConnectX-9 或 CX8 和 Spectrum-X 徹底改變了乙太網路為人工智慧所做的方式。AI 的乙太網路流量要密集得多,需要更低的延遲。瞬時的流量激增不同於乙太網路所見的任何東西。所以我們建立了 Spectrum-X,即AI乙太網路。兩年前我們宣佈了 Spectrum-X。NVIDIA 今天是世界上最大的網路公司。所以它非常成功,被用於許多不同的安裝中。它正在席捲 AI 領域。性能令人難以置信,特別是當你有一個 200 兆瓦的資料中心,或者如果你有一個吉瓦的資料中心。這些是數十億美元。假設一個吉瓦的資料中心是 500 億美元。如果網路性能允許你多提供 10%——在 Spectrum-X 的情況下,提供 25% 更高的吞吐量並不罕見。即使我們只提供 10%,那也值50億美元。網路完全是免費的,這就是為什麼——嗯,每個人都使用 Spectrum-X。這真是一件不可思議的事情。現在我們將發明一種新型的……一種新型的資料處理。所以 Spectrum 是用於東西向流量的。我們現在有一個名為BlueField-4 的新處理器。BlueField-4 允許我們採取一個非常大的資料中心,隔離不同的部分,以便不同的使用者可以使用不同的部分。確保一切都可以虛擬化,如果他們決定虛擬化的話。所以你解除安裝了很多用於南北向流量的虛擬化軟體、安全軟體、網路軟體。所以 BlueField-4 標配在每一個這些計算節點上。BlueField-4 有第二個應用,我馬上就會講到。這是一個革命性的處理器,我對此感到非常興奮。這是 NVLink 6 Switch。就在這裡。這個交換機晶片。在這個 NVLink 交換機裡有四個。這每一個交換機晶片都有歷史上最快的 SerDes。世界勉強達到200 Gbits。這是 400 Gbits 每秒的交換機。這之所以如此重要,是為了讓我們可以讓每一個 GPU 在完全相同的時間與每一個其他GPU 對話。這個交換機,在這個機架背板上的這個交換機使我們要移動相當於兩倍全球網際網路資料量的資料,速度是兩倍。如果你拿整個地球網際網路的橫截面頻寬,大約是每秒 100 TB。這是每秒 240 TB。所以這某種程度上把它放在了透視中。這是為了讓每一個 GPU 都可以與每一個其他 GPU 在完全相同的時間工作。好的。然後在那之上……在那之上,好的,這是一個機架。這是一個機架。正如你們所看到的,這個機架中的電晶體數量是 1.7 倍。是的。你能幫我做這個嗎?所以,這通常大約是兩噸,但今天它是兩噸半,因為當他們運送它時,他們忘了把水排干。所以,我們從加利福尼亞運了很多水過來。你能聽到它尖叫嗎?你知道,當你旋轉兩噸半重的東西時,你得尖叫一下。哦,你可以做到。哇。好的,我們不會讓你做兩次。好的。所以,在這背後是NVLink Spines(脊柱)。基本上是兩英里的銅纜。銅是我們知道的最好的導體。這些都是遮蔽銅纜,結構化銅纜,世界上在計算系統中使用的最多的。我們的 SerDes 以每秒 400 gigabits 的速度驅動從機架頂部一直到底部的銅纜。這令人難以置信。所以這總共有 2 英里的銅纜,5000 根銅纜。這使得 NVLink Spine 成為可能。這是真正開啟 MGX 系統的革命。現在我們決定我們將建立一個行業標準系統,以便整個生態系統、我們所有的供應鏈都可以標準化這些元件。有大約 80,000 個不同的元件組成了這些 MGX 系統,如果我們每年都改變它,那就是徹底的浪費。每一個主要的電腦公司,從富士康到廣達再到緯創,你知道,名單還在繼續,到惠普、戴爾和聯想,每個人都知道如何建構這些系統。所以儘管性能如此之高,更重要的是功耗是兩倍,我們仍然可以將 Vera Rubin 擠進這個系統,這就是奇蹟:進入它的空氣,氣流大約是相同的。非常重要的是,進入它的水是相同的溫度,45°C。用 45°C,資料中心不需要冷水機組(Chillers)。我們基本上是用熱水冷卻這台超級電腦。它是如此令人難以置信的高效。所以這是……這是新的機架。電晶體多 1.7 倍,但峰值推理性能多5倍,峰值訓練性能多 3.5倍。好的,它們在頂部使用 Spectrum-X 連接。哦,謝謝。(掌聲)這是世界上第一個使用台積電(TSMC)新工藝製造的晶片,我們共同創新的工藝叫做COUPE。這是一種矽光子整合矽光子工藝技術。這允許我們將矽光子直接帶到晶片上。這是 512個連接埠,每秒200 Gbits。這是新的乙太網路 AI 交換機,Spectrum-X 乙太網路交換機。看看這個巨大的晶片。但真正令人驚奇的是,它有直接連接到它的矽光子。雷射從這裡進來。雷射從這裡進來。光學器件在這裡,它們連接到資料中心的其餘部分。我稍後會展示給你們看,但這在機架頂部。這是新的 Spectrum-X 矽光子交換機。好的。我們有一些新東西想告訴你們。正如我幾年前提到的,我們推出了 Spectrum-X,以便我們可以重新發明網路的方式。乙太網路真的很容易管理,每個人都有乙太網路堆疊,世界上的每個資料中心都知道如何處理乙太網路。當時我們唯一使用的是 InfiniBand,用於超級電腦。InfiniBand 延遲非常低。但當然,軟體堆疊、InfiniBand 的整個可管理性對於使用乙太網路的人來說非常陌生。所以我們決定第一次進入乙太網路交換機市場。Spectrum-X 就這樣起飛了,使我們成為了世界上最大的網路公司。正如我提到的,下一代 Spectrum-X 將繼承這一傳統。但正如我剛才所說,AI 已經重新發明了整個計算堆疊,計算堆疊的每一層。理所當然地,當 AI 開始部署在世界各地的企業中時,它也將重新發明儲存的方式。嗯,AI 不使用 SQL。AI 使用語義資訊。當使用 AI 時,它會建立這種臨時知識,臨時記憶,稱為KV Cache(KV快取)。鍵值組合,但它是一個 KV 快取。基本上是 AI 的快取,AI 的工作記憶。AI 的工作記憶儲存在 HBM 記憶體中。對於每一個 Token,對於每一個 Token,GPU 讀入模型,整個模型。它讀入整個工作記憶,它產生一個 Token,並將那個 Token 儲存回 KV 快取,然後在下一次它這樣做時,它讀入整個記憶,讀取它,並通過我們的 GPU 流式傳輸,然後生成另一個 Token。嗯,它一個 Token 接一個 Token 地重複這樣做,顯然如果你在那段時間與那個 AI 進行長時間的對話,那個記憶、那個上下文記憶將會極大地增長。更不用說模型正在增長。我們使用的輪次(Turns)正在增加。我們希望這個 AI 伴隨我們一生。記住我們曾經與它進行的每一次對話,對吧?我向它請求的每一丁點研究。當然,共享超級電腦的人數將繼續增長。因此,最初適合放在 HBM 內部的這個上下文記憶不再足夠大了。去年我們建立了 Grace Blackwell 的非常快的記憶體,我們稱之為快速上下文記憶體。這就是為什麼我們將 Grace 直接連接到 Hopper,這就是為什麼我們將 Grace 直接連接到 Blackwell,以便我們可以擴展上下文記憶。但即使那樣也是不夠的。所以下一個解決方案當然是去網路上,南北向網路,去公司的儲存。但如果你有很多 AI 同時運行,那個網路就不再足夠快了。所以答案非常清楚,要做得不同。所以我們建立了 BlueField-4,以便我們基本上可以在機架中擁有一個非常快的 KV 快取上下文記憶體儲存。所以我馬上就會向你們展示。但這是一個全新的儲存系統類別。行業非常興奮,因為這對於幾乎所有今天做大量 Token 生成的人來說都是一個痛點。AI 實驗室,雲服務提供商,他們真的因為 KV 快取移動造成的大量網路流量而受苦。所以我們將建立一個新平台、一個新處理器的想法,來運行整個 Dynamo KV 快取上下文記憶體管理系統,並將其放在離機架其餘部分非常近的地方,這是完全革命性的。所以就是這個。它就在這裡。所以這就是所有的計算節點。每一個都是 NVLink 72。所以這是 Vera Rubin NVLink 72,144 個 Rubin GPU。這是儲存在這裡的上下文記憶體。在每一個這些背後是四個 BlueField。在每一個 BlueField 背後是 150 TB……150 TB 的記憶體,上下文記憶體。對於每一個 GPU,一旦你在每一個 GPU 上分配它,將獲得額外的 16 TB。現在在這個節點內部,每個 GPU 本質上有一 TB。現在有了這裡的這個後備儲存(Backing Store),直接在同一個東西向流量上,以完全相同的資料速率,每秒 200 gigabits,實際上跨越這個計算節點的整個結構。你將獲得額外的 16 TB 記憶體。好的。這就是管理平面。這些是連接所有它們的 Spectrum-X 交換機,在這裡,末端的這些交換機將它們連接到資料中心的其餘部分。好的。所以這是 Vera Rubin。現在有幾件事真的令人難以置信。所以我提到的第一件事是,這整個系統的能源效率是兩倍。本質上,即使功耗是兩倍,使用的能量是兩倍,計算量是其許多倍,但進入它的液體仍然是 45 攝氏度。這使我們能夠節省大約 6% 的世界資料中心電力。所以這是一件非常大的事情。第二件非常大的事情是,這整個系統現在是機密計算安全(Confidential Computing Safe)的。意味著一切都在傳輸中、靜止時和計算期間被編碼。每一條匯流排現在都被加密了。每一個 PCI Express,每一個 NVLink,你知道對於 CPU 和 GPU 之間的 NVLink,GPU 到 GPU 之間,一切現在都被加密了,所以它是機密計算安全的。這允許公司感到安全,即他們的模型是由其他人部署的,但永遠不會被其他人看到。好的。這特定的系統不僅非常節能,而且還有一件事是令人難以置信的。由於 AI 工作負載的性質,它會瞬間飆升。通過這個稱為 All-Reduce 的計算層,電流的大小、使用的能量雖然是瞬間的,但確實超出了圖表。通常它會飆升 25%。我們現在在整個系統中擁有功率平滑(Power Smoothing),這樣你就不必過度配置 25 倍,或者如果你過度配置 25 倍,你不必留下 25%……不是 25 倍,是 25% 的能量被浪費或未使用。所以現在你可以填滿整個功率預算,你不必在此之外進行配置。最後一件事當然是性能。所以讓我們來看看這個的性能。這些只是建構 AI 超級電腦的人會喜歡的圖表。我們需要對每一個晶片進行完全重新設計,並在整個系統上重寫整個堆疊,才能使這成為可能。基本上這是訓練 AI 模型。第一列。你訓練AI 模型越快,你就能越快將下一個前沿帶給世界。這是你的上市時間。這是技術領導力。這是你的定價能力。所以在綠色的情況下,這本質上是一個 10 兆參數的模型。我們從DeepSeek 擴大了它,DeepSeek。這就是為什麼我們稱之為 DeepSeek++。在一個 100 兆 Token 上訓練一個 10 兆參數的模型。好的。這是我們對建構下一個前沿模型所需的模擬預測。Elon 已經提到 Grok 的下一個版本,Grok 3 我想是,不,Grok 5 還是什麼,是 7 兆參數(註:可能指Grok 3,此處為演講者口語推測)。這是 10 兆。綠色是 Blackwell。而在 Rubin的情況下,注意吞吐量是如此之高,因此只需要 1/4 的這些系統就可以在我們給出的時間(一個月)內訓練模型。好的。所以時間對每個人來說都是一樣的。現在你能多快訓練那個模型,以及你能訓練多大的模型,是你如何首先到達前沿的關鍵。第二部分是你的工廠吞吐量(Factory Throughput)。Blackwell 再次是綠色的。工廠吞吐量很重要,因為你的工廠在吉瓦的情況下是 500 億美元。一個 500 億美元的資料中心只能消耗一吉瓦的電力。所以如果你的性能、你的每瓦吞吐量非常好對比非常差,那直接轉化為你的收入。你的資料中心的收入與第二列直接相關。在 Blackwell 的情況下,它比 Hopper 高大約 10 倍。在 Rubin 的情況下,它將再高大約 10倍。好的。在現在的情況下……Token的成本,生成 Token 的成本效益如何。這是 Rubin,大約是 1/10,就像在……是的。所以這就是我們要如何讓每個人都到達下一個前沿,將 AI 推向下一個水平,當然還有能源高效和成本高效地建構這些資料中心。所以就是這樣。這就是今天的 NVIDIA。你知道,我們提到我們製造晶片,但正如你們所知,NVIDIA 現在製造整個系統。AI是一個全端。我們正在重新發明 AI,從晶片到基礎設施,到模型,到應用程式的一切。我們的工作是建立整個堆疊,以便你們所有人都可以為世界其他地方建立令人難以置信的應用程式。感謝大家的到來。祝大家有一個愉快的 CES。現在,在我……在我讓你們離開之前,有一大堆幻燈片我們不得不剪掉,我們不得不留在剪輯室的地板上。所以,我們這裡有一些花絮(Outtakes)。我想這會讓你們覺得很有趣。祝大家有一個愉快的 CES,夥計們。 (The AI Frontier)