內容要點
(下為全文:)
歡迎來到CES!你們興奮地來到拉斯維加斯嗎?你們覺得我的夾克怎麼樣?我想我可以和Gary J. Shapiro(CES總裁)的風格有所不同。畢竟我在拉斯維加斯。如果你們都不滿意,那就習慣吧。我真的覺得你們需要消化一下。因為再過1個小時左右,我會讓你們滿意。
歡迎來到NVIDIA,我們將帶您領略NVIDIA的世界。女士們、先生們,歡迎來到NVIDIA。這裡的一切都是由人工智慧生成的。這是一個非凡的旅程,也是一個非凡的年份,始於1993年。通過NV1,我們希望建構能夠執行普通電腦無法完成的任務的電腦。NV1使得在您的個人電腦上擁有成為遊戲主機的能力。
我們的程式設計架構名為UDA,直到不久之後才有了字母C,但UDA,統一裝置架構。第一個為UDA開發的應用程式是世嘉的《VR戰士》。六年後,在1999年我們發明了可程式設計GPU。這開啟了超過20年的驚人進步,GPU這一神奇的處理器讓現代電腦圖形成為可能。現在,30年後,世嘉的《VR戰士》已經完全電影化。這是即將推出的新《VR戰士》項目。我迫不及待地想看到它,絕對令人難以置信。六年之後,UDA誕生了。
在1999年後的六年裡,我們發明了CUDA,以便能夠向一系列能夠從中受益的演算法解釋或表達我們GPU的可程式設計性。最初,CUDA很難解釋,實際上花費了多年時間,大約六年。無論如何,大約六年後,也就是在2012年,Alex Kershevsky、Ilya Suskovor和Jeff Hinton發現了CUDA,並用它來處理AlexNet(一個摺積神經網路),接下來的發展便成為了歷史。從那時起,人工智慧以驚人的速度發展。起初是感知AI,現在我們能夠理解圖像、文字和聲音,走向生成式AI。
現在我們談論的是代理性AI,也就是那些能夠感知、推理、計畫並採取行動的AI。
接下來是下一階段,即物理AI,這也是我們今晚將討論的一部分,它始於2012年。然後在2018年,神奇的一年裡,發生了一件令人難以置信的事情。Google發佈了Transformer模型的BERT,自此AI領域真正迎來了騰飛。正如大家所知,Transformers徹底改變了人工智慧的格局。事實上,它甚至徹底改變了整個計算領域的格局。我們深刻認識到,AI不僅僅是一個新應用領域或新的商業機會,更重要的是,由Transformers驅動的機器學習,將從根本上改變方式。
計算在每一個層面上都發生了革命性變化,從手動編碼指令以運行在CPU上的軟體工具,到我們現在擁有的可以建立和最佳化神經網路並在GPU上進行處理的機器學習,從而生成人工智慧。技術堆疊的每一個層面都已經完全改變,這在過去12年中是一次令人難以置信的變革。現在,我們能夠理解幾乎任何形式的資訊。你們肯定見過文字、圖像和聲音等內容,但我們不僅能理解這些,我們還能理解氨基酸,理解物理。我們不僅理解它們,還能夠翻譯和生成它們。
應用的可能性幾乎是無窮無盡的。事實上,市場上幾乎所有的AI應用,都是通過什麼樣的輸入模態學習而來的?它又把什麼樣的資訊模態轉換成了什麼,最終生成了什麼樣的資訊模態?如果你問這三個基本問題,幾乎每個應用都可以得到推斷。因此,當你看到一個又一個以AI驅動、以AI為本質的應用時,這一基本概念必然存在。機器學習改變了每一個應用的建構方式,改變了計算的方式,以及超越這些的可能性。正如GeForce GPU,在很多方面,所有這些與AI相關的成就都是GeForce所建立的。GeForce使得AI能夠惠及大眾。那麼,現在呢?人工智慧回歸GeForce。
許多事情沒有人工智慧是無法完成的。現在讓我給你展示其中的一部分。
……(宣傳片)
沒有任何電腦圖形研究者或電腦科學家會告訴你這是可能的。
我們可以為每一個像素進行光線追蹤。光線追蹤是光的模擬。你看到的幾何形狀數量絕對驚人。如果沒有人工智慧,這一切都是不可能的。我們做了兩件根本性的事情。我們當然使用了可程式設計著色和光線追蹤加速,產生了極其美麗的像素。然後,我們讓人工智慧根據那個像素進行調節和控制,以生成大量其他像素。它不僅能夠在空間上生成其他像素,因為它知道顏色應該是什麼,而且它是在 NVIDIA 的超級電腦上進行訓練的。因此,運行在GPU上的神經網路能夠推斷和預測我們沒有渲染的像素。不僅如此,這被稱為DLSS(超解析度技術)。
最新一代的DLSS不僅僅是生成幀。它還能預測未來,為每一幀計算生成三個額外的幀。你看到的,如果我們只是說你看到的四幀,因為我們將渲染一幀並生成三幀。如果我說四幀在全高畫質和4K下,那就是大約3300萬個像素。在這3300萬個像素中,我們只計算了兩個。能夠計算出200萬個像素,並讓人工智慧預測其餘的3300萬個像素,簡直是個絕對的奇蹟。結果,我們能夠以令人難以置信的高性能進行渲染,因為人工智慧的計算量大大減少。
當然,這需要大量的訓練才能實現,但一旦訓練完成,生成過程極其高效。因此,這是人工智慧的一項令人難以置信的功能,這也是為什麼有如此多驚人的事情正在發生。我們利用GeForce推動人工智慧的發展,而如今人工智慧又在革命GeForce。
今天我們宣佈我們的下一代產品,RTX Blackwell系列。讓我們來看看。
這是我們最新基於Blackwell架構的全新GeForce RTX 50系列顯示卡。這是一款性能野獸,搭載920億個電晶體,4000 AI TOPS,是以前Ada的3倍。這都是我剛剛展示的畫面所必需的硬體。
我們擁有380個光線追蹤的太浮點運算能力,以便為我們必須計算的像素提供儘可能美麗的圖像。當然,還有125個著色器的太拉浮點運算能力。實際上,除了平行著色器的泰拉浮點運算能力之外,還有一個整數單元,性能相等。因此,有兩個雙重著色器,一個用於浮點運算,另一個用於整數運算。來自美光的G7記憶體,速度為每秒1.8TB,是我們上一代產品性能的兩倍。
我們現在有能力將AI工作負載與計算圖形工作負載混合處理。這一代產品最令人驚訝的地方是,可程式設計著色器現在也能處理神經網路。因此,這個著色器能夠承載這些神經網路,從而我們發明了神經紋理壓縮和神經材料著色。由此產生的,是無法僅靠傳統技術實現的令人驚嘆的美麗圖像,因為我們運用了AI技術學習紋理,學習壓縮演算法,最終獲得卓越的結果。
好的,這就是全新的RTX Blackwell 50系列。甚至連機械設計都是一個奇蹟。看看這個,它有兩個風扇。整個顯示卡就像是一個巨大的風扇。那麼問題來了,顯示卡在那裡?它真的這麼大嗎?電壓調節器的設計達到了最先進水平。令人難以置信的設計。工程團隊做得非常出色。
那它和之前的相比如何呢?這就是RTX 4090,價格是1599美元。這是你能做出的最好的投資之一。花1599美元,你可以把它帶回家,搭配你的10000美元的PC娛樂指揮中心。不是嗎?別告訴我這不是真的。它是液冷的,四處都有華麗的燈光。如果說這就是現代家庭影院完全說得通。
而現在,花1500美元到1599美元,你就可以對它進行升級,並為它注入強大的動力。現在,隨著Blackwell家族的到來,RTX 5070擁有4090的性能,僅售549美元。5090的性能是4090的兩倍。我們將於1月開始大規模生產,當然,產品將很快上市。
這是令人難以置信的,但我們成功地將這些巨大的高性能GPU放入了一台筆記型電腦。這是一台5070筆記型電腦。價格為1299美元的5070筆記本具有4090的性能。我想這裡有一個。讓我給你展示一下。你能想像嗎,你擁有這個令人驚嘆的顯示卡,Blackwell,我們將把它縮小並放入筆記本中,不利用我們的人工智慧你是做不到的。原因是我們通過我們的核心生成大部分像素。因此,我們只追蹤所需的像素,其他像素則由人工智慧生成。結果是,能效簡直是天文數字。電腦圖形的未來是神經渲染,人工智慧的融合。
5090顯示卡將能夠融入到一款薄型筆記型電腦中,那款電腦厚度在14.9毫米。我們還有5080、5070 Ti和5070。那麼,女士們,先生們,這就是RTX Blackwell系列。
GeForce將人工智慧帶入了世界,實現了人工智慧的普及,而如今人工智慧又回過頭來徹底改變了GeForce。
讓我們談談人工智慧,接下來我們來到NVIDIA的另一處地方。這確實是NVIDIA的總部。好吧,讓我們深入討論一下人工智慧行業。整個行業一直在追逐和競相擴展人工智慧,而擴展法則則是一個強大的模型,它是一個經驗法則,已經在多個世代的研究者和行業中被觀察和證明。擴展法則表明,你擁有的訓練資料越多,模型越大,應用的計算能力越強,因此你的模型將變得更加有效或更強大。因此,擴展法則依然適用。令人驚奇的是,我們現在正在邁向新的階段。
當然,網際網路每年產生的資料量幾乎是去年的兩倍。我認為在未來幾年內,人類將產生的資料量將超過人類自古以來所產生的總資料。因此,我們依舊在產生海量資料,而且這些資料正變得多模態。視訊、圖像和聲音,這些資料都可以用於訓練人工智慧的基礎知識和基本知識。但實際上,現在出現了另外兩個擴展法則,這些法則也頗具直觀性。第二個擴展法則是後訓練擴展法則。後訓練擴展法則利用強化學習、人類反饋等技術和方法。基本上,人工智慧會生成和產生答案。
基於人類查詢,而人類給出反饋。雖然這要複雜得多,但這個強化學習系統通過大量高品質的提示使得人工智慧不斷提升其技能。它可以在特定領域進行技能微調,能更好地解決數學問題,更好地進行推理,等等。因此,這本質上就像是有一個導師或教練在你學習結束後給予反饋。你會接受測試,得到反饋,不斷改善自己。我們還有強化學習的人工智慧反饋和合成資料生成。這些技術就類似於自我練習。你知道某一特定問題的答案,並不斷嘗試直到獲得正確答案。
我們可能會面臨一個非常複雜和困難的問題,這個問題在功能上是可驗證的,並且我們理解它的答案,可能是證明一個定理,或者解決一個幾何問題。這些問題會導致人工智慧生成答案,並通過強化學習來學習如何自我改進。這被稱為後訓練(post-training)。後訓練需要巨量的計算,但最終結果會產生令人驚嘆的模型。我們現在有了第三個擴展法則,這個第三個擴展法則與所謂的測試時間擴展有關。測試時間擴展基本上是在使用人工智慧時,人工智慧能夠應用不同的資源分配。現在它不再集中於改善其參數,而是專注於決定要使用多少計算來生成它想要的答案。
推理是一種思考方式,長期思考是一種思考方法,而不是簡單的直接推斷或一次性答案。你可能會對問題進行推理,將問題分解為多個步驟,產生多個想法並進行評估,你的人工智慧系統將評估你生成的想法中那個是最好的,或許它會逐步解決問題,依此類推。在此過程中,測試時間的擴展已經被證明極為有效。你能夠觀察到這一系列技術,以及隨著我們見證從ChatGPT到o1再到03,到現在的Gemini Pro等令人難以置信的成就,各類擴展法則的出現。這些系統都在經歷一個逐步的旅程,從預訓練到後訓練再到測試時間的擴展。當然,我們所需的計算量是巨大的。
我們希望,實際上,我們希望社會能夠擴大計算能力,以產生越來越多的新穎和更強大的智能。智能顯然是我們最寶貴的資產,它可以用於解決許多非常具有挑戰性的問題。因此,規模法則正在推動對NVIDIA計算的巨大需求。這也推動了我們稱之為Blackwell的這款令人驚嘆的晶片的巨大需求。
讓我們來看一下Blackwell。Blackwell已經全面投入生產,外觀令人驚嘆。首先,所有的雲服務提供商現在都已經建立了系統。我們這裡有來自大約15家電腦製造商的系統,正在生產200種不同的型號和組態。這些組態包括液冷、風冷、x86以及NVIDIA灰色CPU版本。
還有許多不同類型的系統,以便我們能夠滿足全球幾乎每一個資料中心的需求。這些系統目前在大約45家工廠生產。這說明了人工智慧的普及程度,以及行業如何迅速投入到這種新的計算模型中。推動這一處理程序的原因在於我們需要更多的計算能力。而且非常明顯。
這是GB200 NVLink72系統,重達一噸半,有60萬個部件。大約相當於20輛汽車,功耗120千瓦,它背後有一條“脊柱”,將所有這些GPU連接在一起,使用了兩英里長的銅纜,5000根電纜,這些裝置在全球45個工廠製造。我們進行生產、液冷、測試、拆解,然後將它們分部分運輸到資料中心,並送往雲端。我們把它們送到資料中心,因為總重達到1.5噸。然後我們在資料中心外進行重新組裝和安裝。這種製造過程非常瘋狂。但所有這些的目標是因為擴展法則推動計算的發展,這一計算水平,Blackwell,較我們上一代的性能每瓦提升了四倍,每美元的性能提升了三倍。
這基本上意味著在一個世代中,我們將訓練這些模型的成本減少了三倍。或者如果你想將模型的規模擴大三倍,成本大致相同。但重要的是,這些生成的Token正被我們所有人在使用ChatGPT或未來使用Gemini和手機時利用。幾乎所有這些應用程式都會消耗這些AI Token,而這些AI Token則由這些系統生成。每一個資料中心都受到電力的限制。所以,如果Blackwell每瓦性能是我們上一代的四倍,那麼可以產生的收入,資料中心生成的商業量也將增加四倍。因此,這些AI工廠系統如今確實就是工廠。
現在,所有這些的目標就是為了創造一個巨型晶片。我們所需的計算量實在是令人難以置信。這基本上就是一個巨型晶片。
我們基本上擁有的是72個Blackwell GPU或144個晶片,具備1.4 ExaFLOPS TE FP4計算能力。世界上最大的超級電腦,最快的超級電腦,最近剛剛實現了超過1個ExaFLOPS的性能,而這個整個房間的超級電腦,最近才達到了這個水平。這是1.4 exaflops的AI浮點性能,擁有14TB的記憶體。但更令人驚訝的是,記憶體頻寬是1.2PB/s,這基本上就是現在整個網際網路的流量。全世界的網際網路流量都通過這些晶片進行處理,好吧。
我們總共有130兆個電晶體,2592個CPU核心,還有大量的網路支援。因此,這些,我希望我能做到。這我覺得做不到。這些是Blackwell晶片。它們是我們的ConnectX網路晶片。這些是NVLink,我們正在努力讓它看起來像NVLink主幹,但這是不可能的,好嗎?這些都是HBM記憶體,總共有12到14TB的HBM記憶體。這就是我們正在努力實現的目標,這就是奇蹟。
這就是Blackwell系統的奇蹟。Blackwell晶片就位於這裡。它是人類歷史上最大的單晶片。然而,更大的奇蹟在於,這就是Grace Blackwell系統。
我們需要大量的計算能力,因為我們希望能夠訓練越來越大的模型。這些推理曾經只是一種推理,但在未來,人工智慧將會自言自語。它將進行思考,將進行內省和處理。因此,今天,當Token以每秒20或30個的速度生成時,基本上達到了任何人能閱讀的極限。然而,在未來,以及現在的GPT-01、全新的Gemini Pro和o1、o3模型,它們正在進行自我對話。我們在反思,我們在思考。所以,如你所想,Token被獲取的速度極其高,因此我們需要顯著提高Token生成的速度,同時還必須大幅降低成本。
服務質量可以是非凡的。客戶的成本可以持續保持低廉。而且人工智慧將繼續擴展。這就是我們建立NVLink的根本目的和原因。在企業世界中,最重要的事情之一就是主動式人工智慧(Agentic AI)。主動式人工智慧基本上是測試時間擴展的一個完美例子。它是一個模型系統。其中一些用於理解和與客戶互動,與使用者互動。有些可能是檢索資訊,從儲存中檢索資訊,像語義人工智慧系統(例如RAG)那樣。也許它會上網,也許會研究PDF檔案。因此,它可能會使用工具,可能會使用計算器,也可能會使用生成式人工智慧來生成圖表等。它在不斷迭代。它將你給定的問題分解成一步步來處理,並在所有這些不同模型中進行迭代。
為了讓AI在未來響應客戶,以前的方式是問一個問題,給出答案。未來,當問題被提出時,會有許多模型在背景執行。因此,測試時的計算量——也就是推理所需的計算量,將會激增。之所以會激增,是因為我們追求越來越好的答案。為了幫助行業建構具有自主能力的人工智慧,我們的市場策略並不是直接面向企業客戶,而是與軟體開發人員和IT生態系統合作,整合我們的技術,以實現新的可能性,就像我們之前所做的CUDA庫一樣。現在,我們希望在人工智慧庫方面也做到這一點。正如過去的計算模型有用於電腦圖形、線性代數或流體動力學的API一樣,在未來,在這些加速庫及CUDA加速庫之上,我們將擁有人工智慧庫。我們已創造了三項工具來提供幫助。
在建構自主智能的生態系統方面,NVIDIA NIMS 本質上是將所有AI微服務打包在一起。它將所有這些複雜的CUDA軟體,包括CUDA DNN、Cutlass、Tensor RTLM或Triton,以及模型本身打包最佳化,放入容器中,您可以隨意攜帶。
因此,我們有用於視覺、語言理解、語音、動畫和數字生物學的模型,同時還有一些關於物理AI的新模型即將推出。這些AI模型可以在每個雲平台上運行,因為NVIDIA的GPU現在在每個雲平台上都可用,也可以在每個OEM中找到,因此您可以將這些模型整合到您的軟體包中,建立可以運行在cadence上的AI代理,或者它們可能是ServiceNow代理,或者SAP代理。他們可以將其部署到客戶那裡,並在客戶希望運行軟體的任何地方進行操作。
下一個層次是我們稱之為NVIDIA NeMo的系統。NeMo本質上是一個數字員工入職和培訓評估系統。未來,這些代理將作為數字勞動力,與您的員工一起工作,為您代勞。因此,您將這些專門代理引入公司,就像為員工入職一樣,我們有不同的庫來幫助這些代理進行特定語言的訓練,也許您公司的詞彙是獨特的,業務流程不同,工作方式也不同,因此您將為他們提供示例,說明一個產品應該是什麼樣子的。
AI會嘗試生成它,你也會給予反饋。然後你會對他們進行評估,反覆進行。並且你會給他們設定限制,你會告訴他們那些事情是禁止做的,那些話是不能說的。我們甚至會給他們提供某些資訊的存取權。整個流程,數字員工流程被稱為NeMo。在許多方面,未來每個公司的IT部門將成為AI代理的人力資源部門。今天,他們管理和維護來自IT行業的一系列軟體。未來,他們將維護、培養、引導並改進大量數字代理,並將其提供給公司使用。所以,IT部門將類似於AI代理的人力資源。除此之外,我們還提供了一系列藍圖,供我們的生態系統利用。所有這一切都是完全開放原始碼的,因此你可以拿去修改這些藍圖。
我們今天還發佈一件非常酷、我認為非常聰明的事情,我們正在發佈一個完整的模型系列,這些模型基於Llama,NVIDIA Llama Nemo Tron語言基礎模型。Llama 3.1是一個完整的現象,從Meta下載Llama 3.1的次數大約為65萬次。它已經被衍生並轉化為其他約6萬個不同的模型,這正是幾乎所有行業中的每個企業都被啟動開始進行AI工作的原因。我們所做的事情是意識到Llama模型實際上可以更好地針對企業使用進行微調,因此我們利用我們的專業知識和能力對其進行了微調,並將其轉化為Llama。
Llama Nemotron中有一些非常小,反應時間極快。我們稱之為超大模型的Llama Nemotron Super,基本上是主流版本的模型。或者說超模,超模可以作為眾多其他模型的教師模型。它可以作為獎勵模型、評估者或是其他模型生成答案的裁判,決定答案的好壞,基本上是為其他模型提供反饋。它可以以不同的方式進行蒸餾,基本上是一個教師模型或知識蒸餾模型,非常強大。因此,所有這些現在都可以線上獲取。這些模型令人難以置信,在聊天和指令的排行榜上都是第一。
為了應對全球AI代理所需的各種功能,我們正致力於開發出令人驚嘆的模型。同時,我們與生態系統緊密合作。所有的NVIDIA AI技術都已與IT行業整合。我們有優秀的合作夥伴,並且在ServiceNow、SAP和西門子等工業AI領域開展了出色的工作。Cadence和Synopsys也在進行偉大的工作。我對與Perplexity的合作感到非常自豪。正如大家所知,他們徹底改變了搜尋的方式。非常了不起的進展。Codium。全世界的每一位軟體工程師都將迎來下一個巨型AI應用。
下一個巨型AI服務將是軟體程式設計。全球有3000萬軟體工程師,每個人都會擁有一個軟體助手來幫助他們進行程式設計。如果不是這樣,你的生產力顯然會大幅下降,編寫出質量較低的程式碼。那麼這是3000萬。在全球有十億知識工作者。顯而易見,AI代理可能是下一個機器人產業,且可能成為一個兆級的機會。接下來讓我給你展示我們與合作夥伴共同建立的一些藍圖以及我們在這些AI代理方面的工作。AI代理是新的數字勞動力,正在為我們工作並與我們合作。AI代理是一組模型,能夠推理任務目標,將其分解為具體任務,並檢索資料或使用工具生成高品質的響應。NVIDIA的 Agentic AI 建構模組、NIM 預訓練模型和 NEMO 框架使組織能夠輕鬆開發AI代理並在任何地方部署它們。我們將對我們的代理進行入職培訓和訓練。
我們的公司在方法上與代理工作隊伍進行協作,就像對待員工一樣。人工智慧代理是特定領域的任務專家。讓我給你展示四個例子。對於數十億知識工作者和學生,人工智慧研究助理代理可以處理複雜的文件,比如講座、期刊、財務報告,並生成互動播客以便輕鬆學習。通過將單位回歸模型與擴散模型相結合,CoreDiff能夠將全球天氣預報的尺度從25公里縮小到2公里。開發人員,例如在NVIDIA的團隊,管理軟體安全人工智慧代理,這些代理不斷掃描軟體中的漏洞,並提醒開發人員所需的行動。虛擬實驗室人工智慧代理幫助研究人員設計和篩選數十億種化合物。
為了更快地找到有前景的藥物候選者,NVIDIA推出了基於NVIDIA Metropolis藍圖建構的NVIDIA Analytics AI代理,包括NVIDIA Cosmos Nemetron視覺語言模型、Lama Nemetron大語言模型和Nemo檢索器。Metropolis代理分析來自數十億攝影機的內容,每天生成100,000PB的視訊資料。它們支援互動搜尋、摘要和自動報告,並幫助監測交通流,標記擁堵或危險。在工業設施中,它們監測流程並生成建議或改進措施。Metropolis代理集中來自數百個攝影機的資料,當發生事故時,可以重新安排工人或機器人任務。代理智能時代已然到來。
對於每個組織來說,這是一個令人興奮的時刻。好吧,那是一個不由人生成的棒球比賽的第一投。我只是覺得你們似乎都沒有被打動。好的,人工智慧在雲中建立,旨在為雲服務而生,當然也適用於手機。很快,我們就會擁有一個持續的人工智慧,它將伴隨你左右。當你使用那些元宇宙眼鏡時,你可以指向某個東西,觀察它並詢問你想要的任何資訊。因此,人工智慧在建立雲方面是完美的。然而,我們希望能夠將這項人工智慧帶到任何地方。我已經提到過,你可以將NVIDIA的人工智慧帶到任何雲中,但你也可以將其整合到你的公司中。然而,我們最希望做的就是將它安裝在我們的裝置上。
正如你們所知,Windows 95徹底改變了電腦行業。它使得這一新的多媒體服務套件成為可能,並改變了應用程式的建立方式。Windows 95,這種計算模型,顯然並不完全適合人工智慧。因此,我們希望在未來,您的人工智慧能夠基本上成為您的AI助手。未來不僅僅有3D API、音訊API和視訊API,還會有生成性API。針對3D的生成性API、針對語言的生成性API、針對音訊的生成性AI,等等。我們需要一個能實現這一目標的系統,同時利用雲端運算中的巨大投資。世界上不可能再創造出另一種程式設計AI模型的方法。這是不可能發生的。因此,如果我們能夠找出一種解決方案讓Windows PC成為世界級的AI電腦,這真的是太棒了。
結果發現答案就是Windows,就是Windows WSL2。Windows WSL2基本上是兩個作業系統在一個框架內。它運行得非常完美。它是為開發人員而開發的,同時也讓你能夠訪問底層硬體。WSL2已經針對雲原生應用進行了最佳化,重要的是,它還對CUDA進行了最佳化。因此,WSL2開箱即用地完美支援CUDA。因此,我所展示的所有內容,包括NVIDIA NIMS、NVIDIA NEMO以及我們將在ai.nvidia.com上發佈的藍圖,只要電腦能夠承載這些,能夠適應這些模型。
我們將提供許多適合不同需求的模型,無論是視覺模型、語言模型、語音模型,還是動畫人類、數字人類模型,各種不同類型的模型都將完美適用於您的個人電腦。您只需下載,它們就能順利運行。因此,我們的重點是將Windows WSL2和Windows個人電腦打造為一個一流的平台,我們將盡全力支援和維護它。對於全球的工程師和開發者來說,這都是一項了不起的成就。讓我展示一些我們可以實現的功能。這裡是我們為您製作的藍圖之一。生成式人工智慧可以從簡單的文字提示合成出令人驚嘆的圖像。然而,單純用語言控製圖像的構圖可能會很有挑戰性。通過NVIDIA NIM微服務,創作者可以使用簡單的3D對象來指導AI圖像生成。讓我們來看一下這個概念。
藝術家可以利用這項技術來發展場景的外觀。他們首先排布手工製作或通過AI生成的3D資產,然後使用圖像生成工具,如Flux,建立與3D場景相符的視覺效果。可以加入或移動物體以細化構圖,改變攝影機角度以捕捉完美鏡頭,或者使用新提示重新構思整個場景。在生成式AI和NVIDIA NIM的輔助下,藝術家能夠快速實現他們的創意。
NVIDIA為您的個人電腦提供AI支援。全球數億台運行Windows的個人電腦,我們可以為它們準備AI功能。所有我們合作的PC OEM廠商,基本上是全球領先的PC OEM廠商,都會為這一技術堆疊的應用做準備。因此,AI的未來就在眼前。個人電腦即將進入您的家庭。Linux表現不錯。
那麼,讓我們談談物理AI。說到Linux,我們來聊聊物理AI。想像一下,您的大型語言模型,在左側提供上下文和提示,它會一個一個地生成標記以產生輸出。這基本上就是它的工作原理。令人驚訝的是,中間的這個模型相當龐大,擁有數十億的參數。上下文長度非常大,因為你可能決定載入一個PDF。
在我的案例中,我可能在提問之前載入幾個PDF。這些PDF會被轉換成Token。Transformer的基本特性使得每一個Token都要與其他每一個Token找到它的關係和相關性。因此,你可能會有成千上萬的Token,而計算負載也會呈平方增長。而且,它會將所有參數和輸入序列通過Transformer的每一層處理,然後生成一個Token。這就是我們需要Blackwell的原因。接下來會生成下一個Token。噹噹前Token處理完成時,它會將當前Token放入輸入序列中,然後將整個序列用於生成下一個Token,這是逐個進行的。這就是Transformer模型。這也是它被廣泛使用的原因,因為它在計算上非常高效。假如,這不是PDF,而是你周圍的環境呢?
如果,這個提示不是一個問題呢?如果是一項請求,讓你過去拿起那箱子把它帶回來,實際上它產生的不是Token,而是文字,這產生的是動作Token。我剛剛描述的這是未來機器人技術的一個非常合理的方向。這項技術即將到來,但我們需要做的是建立一個有效的世界模型。與GPT這種語言模型不同,這個世界模型必須理解世界的語言,必須理解物理動態,例如重力、摩擦和慣性;它必須理解幾何和空間關係,必須理解因果關係,比如你把東西扔到地上、戳東西時的反應。同時,它還要理解物體的持久性。
因此,我們對這些理解的直觀認識與如今許多模型所面臨的困難密切相關。因此,我們希望創造一個世界。我們需要一個世界基礎模型。今天,我們宣佈一個重大消息。我們推出了NVIDIA Cosmos,一個旨在理解物理世界的基礎模型。而真正理解這一點的唯一方法就是親眼看到。讓我們播放一下宣傳片。
人工智慧的下一個前沿是物理人工智慧。模型的性能與資料的可用性直接相關。但捕獲、整理和標記物理世界資料的成本是昂貴的。
NVIDIA Cosmos是一個全球基礎模型開發平台,旨在推動物理人工智慧的發展。它包括自回歸世界基礎模型、基於擴散的世界基礎模型、高級分詞器以及NVIDIA CUDA這一人工智慧加速資料管道。Cosmos模型可以接收文字、圖像或視訊提示,並生成虛擬世界狀態作為視訊輸出。Cosmos生成的內容優先考慮自動駕駛和機器人應用的獨特需求,如真實環境、光照和物體持久性。開發人員使用NVIDIA Omniverse建構基於物理的、地理空間精確的場景,然後將Omniverse渲染輸出到Cosmos,生成照片級真實、基於物理的合成內容。
不論是多樣化的物體還是環境,天氣狀況、時間或邊緣案例場景,開發者們使用Cosmos來生成用於強化學習的人工智慧反饋,從而改善政策模型,或測試和驗證模型性能,甚至跨越多感測器視角。Cosmos能夠即時生成Token,為人工智慧模型帶來前瞻性和多元宇宙模擬的力量,生成每一個可能的未來,以幫助模型選擇正確的路徑。與全球開發者生態系統合作,NVIDIA正在幫助推動下一波物理人工智慧的進步。
NVIDIA Cosmos,世界首個世界基礎模型。它經過2000萬小時的視訊訓練。這2000萬小時的視訊聚焦於物理動態事物,如動態自然、自然主題,以及人類行走、手部動作、物體操控等快速鏡頭移動的內容。其核心在於教會AI理解物理世界,而非生成創造性內容。基於這一物理AI,我們可以開展許多後續應用。我們可以進行合成資料生成以訓練模型,也可以將其提煉並轉化為有效的種子,作為機器人模型的起點。
你可以讓它生成多個基於物理的、物理上可信的未來場景,基本上就像《奇異博士》。因為這個模型理解物理世界,當然,你看到了一堆生成的圖像。這個模型理解物理世界。它當然也可以進行標題生成。因此,它可以對視訊進行非常出色的字幕處理,這些字幕和視訊可以用於訓練大型語言模型和多模態大型語言模型。因此,你可以利用這項技術,用這個基礎模型來訓練機器人以及大型語言模型。這就是NVIDIA Cosmos。該平台有一個用於即時應用的自回歸模型,具備高品質圖像生成的擴散模型,基本上學習了現實世界的詞彙和一個資料管道,因此如果你想將所有這些內容訓練在你自己的資料上,我們為您每一個環節進行全面加速。
這是全球首個資料處理管道,它可以加速處理,同時也是我們Cosmos平台的一部分。今天我們宣佈,Cosmos平台現已開放授權,並可在GitHub上獲取。我們希望,這一時刻和小型、中型、大型非常快速的模型,尤其是主流模型和教師模型,能夠帶來新的可能性。實際上,Cosmos基礎模型的開放,我們非常希望能為機器人技術和工業人工智慧的世界帶來變革,正如Lama 3為企業人工智慧所做的那樣。當您將Cosmos與Omniverse連接時,奇蹟便會發生。
Omniverse是一個基於物理的系統,而不是物理上固定的,而是基於物理的。這是一個演算法物理、基於原理的物理模擬系統。它是一個模擬器。當你將其與Cosmos連接時,它提供了基礎和真實依據,這可以控制和調節Osmos的生成。因此,Osmos產生的結果是建立在真實基礎之上的。這與將大型語言模型連接到檢索增強生成系統(RAG)的理唸完全相同。你想要將人工智慧生成的內容建立在真實基礎上。因此,這兩者的結合使你擁有一個物理模擬的、多元宇宙生成器。其應用和用例是非常重要的。
相當令人興奮。對於機器人技術和工業應用,這一點非常明確。Cosmos、Omniverse和Cosmos的結合代表了建構機器人系統所需的第三台電腦。每家機器人公司最終都必須建構三台電腦。機器人系統可以是一個工廠,機器人系統可以是一輛車,也可以是一個機器人。
你需要三台基本的電腦。
一台電腦,當然是用來訓練人工智慧的,我們稱之為DGX電腦,用於訓練AI。
另一台電腦,當你完成訓練後,用於部署人工智慧,我們稱之為AGX,它可以在汽車、機器人、自動化移動機器人(AMR)或者任何其他裝置中,這些電腦位於邊緣並具有自主性。
但要連接這兩者,你需要一個數字雙胞胎。所有的模擬都在這裡。數字雙胞胎是訓練好的人工智慧去練習、精煉和進行合成資料生成的地方。
在增強學習AI反饋的支援下,這就是AI的數字雙胞胎。這三台電腦將會進行互動工作。NVIDIA在工業領域的戰略,正如我們已經討論了一段時間的,是這個三台電腦系統。您知道的,與其說是三體問題,不如說是我們的三台電腦解決方案。這就是NVIDIA在機器人領域的定位。那麼讓我給您舉三個例子。好的,第一個例子是我們如何將所有這些應用於工業數位化。全球有數百萬家工廠,數十萬座倉庫,基本上構成了一個價值50兆美元的製造業的支柱。所有這些都必須變為軟體定義。
所有這一切都必須在未來實現自動化,並將與機器人技術深度融合。我們正與全球領先的倉儲自動化解決方案供應商Kion以及全球最大的專業服務提供商埃森哲合作。他們在數位化製造方面有著豐厚的積累。我們正共同努力創造一些真正特別的東西,稍後我會向您展示。但我們的市場推廣方式基本上與我們所有其他軟體平台和技術平台相同。通過開發者和生態系統合作夥伴,我們與日俱增的生態系統夥伴正不斷連接到Omniverse。原因非常明確,每個人都希望數位化工業的未來。在這50兆美元的全球GDP中,存在著如此多的浪費和自動化機會。讓我們來看一個與KION和埃森哲合作的例子。
供應鏈解決方案公司KION,全球領先的專業服務公司埃森哲,以及NVIDIA正在將物理AI引入價值1兆美元的倉庫和配送中心市場。管理高性能的倉庫物流需要在不斷變化的變數中導航,這些變數包括日常和季節性需求變化、空間限制、勞動力可用性以及多種機器人和自動化系統的整合。如今,預測物理倉庫的營運關鍵績效指標近乎不可能。為了應對這些挑戰,KION正在採用MEGA,這是NVIDIA Omniverse的一個藍圖,用於建構工業數字雙胞胎,以測試和最佳化機器人車隊。首先,Keon的倉庫管理解決方案將任務分配給數字雙胞胎中的工業AI大腦。
例如,將負載從快取位置移動到移動儲存解決方案。這些機器人的“大腦”在一個物理倉庫的模擬環境中,經過數位化處理,通過OpenUSD連接器將CAD、視訊和圖像聚合到3D中,將LiDAR轉化為點雲,並生成AI資料。這支機器人隊伍通過感知和推理其Omniverse數字雙胞胎環境,來執行任務,規劃它們的下一個動作並採取行動。機器人的“大腦”可以通過感測器模擬看到結果狀態,並決定下一個動作。這個循環持續進行,Mega在數字雙胞胎中精確跟蹤一切狀態。現在,KION能夠在規模上模擬無限場景,同時衡量營運關鍵績效指標,如吞吐量、效率和利用率,在對實際倉庫進行更改之前,KION和埃森哲正在與NVIDIA一起重塑工業自主。
事實上,你可以使用 Omniverse 和 Cosmos 來生成許多未來場景,然後由人工智慧決定那些場景對任何關鍵績效指標(KPI)最為最佳,這些場景將成為程式設計約束,也就是將部署到真實工廠的程序。
下一個例子是自動駕駛汽車。自動駕駛革命已經到來。在經歷了 Waymo 和特斯拉的成功之後,情況變得非常清晰。當然,沃爾沃等眾多公司都在其中。Wabi正在開發無人駕駛卡車。Aurora,我們本周也宣佈Aurora將使用NVIDIA來製造無人駕駛卡車。每年生產1億輛汽車,世界各地有10億輛車輛在路上,每年駕駛的總里程達到兆英里。未來,這些車輛將會是高度自主或完全自主的。因此,這將成為一個非常龐大的產業。我預測這將可能是第一個兆級的機器人產業。對於我們來說,僅在這些開始進入市場的汽車中,我們的業務已經達到40億美元,今年預計將以50億美元的規模增長。所以,這已經是一個非常重要的業務,未來將會非常龐大。
今天,我們宣佈下一代汽車處理器“Thor”。這是一個機器人電腦。它處理感測器的資料,處理大量的感測器資訊。許多高解析度的攝影機、雷達、激光雷達,所有這些資訊都進入這個晶片。這個晶片需要處理所有感測器的資料,將它們轉化為標記,放入變換器中,並預測下一條路徑。這個自動駕駛電腦現在已經全面投入生產。Thor的處理能力是我們上一代Orin的20倍,而Orin目前是自動駕駛汽車的標準。這真是令人難以置信。Thor已經全面生產。
這款機器人處理器同時也可以應用於完整的機器人,因此它可以是自主移動機器人,也可以是人類或機器人,可以作為大腦,也可以作為操控器。該處理器基本上是一個通用機器人電腦。
我非常自豪的Drive OS的第二個部分是對安全性的承諾。我很高興地宣佈Drive OS現在已成為首個經過認證的最高標準功能安全軟體定義可程式設計人工智慧電腦,達到了ASIL-D,這是汽車功能安全的最高標準,唯一且最高的標準。因此,我對此非常自豪,ASIL-D,ISO 26262。這是大約15000個工程師年工作的成果。這是非凡的工作,作為這一成果,CUDA現在成為一個功能安全的電腦。
如果你正在建構一個機器人,NVIDIA CUDA,沒問題。那麼,我剛才告訴過你,我將展示我們在自動駕駛汽車的背景下如何使用Omniverse和Cosmos。今天,我不會僅僅展示一堆汽車在路上行駛的視訊,儘管我會展示一些。但我想展示我們如何利用汽車自動重建數字雙胞胎,並利用這一能力來訓練未來的AI模型。好吧,我們開始吧。
自動駕駛汽車的革命已經到來。建構自動駕駛汽車就像建構所有機器人一樣,需要三台電腦。NVIDIA DGX用於訓練AI模型,Omniverse用於測試駕駛和生成合成資料,以及驅動AGI。一台車載超級電腦。建構安全的自動駕駛車輛意味著要處理邊緣場景,但現實世界的資料有限,因此合成資料對訓練至關重要。由NVIDIA Omniverse、AI模型和Cosmos驅動的自動駕駛車輛資料工廠生成合成駕駛場景,極大地增強了訓練資料的規模。首先,Omnimap融合地圖和地理空間資料,以建構可駕駛的3D環境。可以從重播行駛日誌或AI交通生成器生成駕駛場景的多種變化。接下來,神經重建引擎利用自動駕駛車輛感測器日誌建立高保真4D感測器。
它在三維空間中重放之前的駕駛記錄,並生成場景變體以增大訓練資料。最後,Edify 3DS 自動搜尋現有資產庫或生成新資產,以建立適合模擬的場景。Omniverse 場景用於調整 Cosmos,以生成大量逼真的資料,縮小模擬與現實之間的差距,並通過文字提示生成近乎無限的駕駛場景變體。借助 Cosmos Nemotron VideoSearch,結合錄製的駕駛資料,可以對大規模合成的資料集進行整理,以訓練模型。NVIDIA 的 AI 資料工廠將數百次駕駛擴展為數十億有效里程,為安全和先進的自主駕駛設定標準。
我們進行數千次駕駛,將其轉化為數十億英里。我們將會擁有大量的自主駕駛培訓資料。當然,我們仍然需要真正的汽車上路。隨著時間的推移,我們將不斷收集資料。然而,通過這種多元宇宙的合成資料生成能力,基於物理的、真實的能力,我們可以為訓練具備物理基礎且精準、可信的人工智慧生成資料,從而擁有大量的資料進行訓練。自動駕駛行業已然崛起。這是一個令人難以置信的激動人心的時刻。我對未來幾年的發展感到無比興奮。我認為,你會看到,正如電腦圖形學曾經經歷的革命。
在如此驚人的速度下,您將看到自動駕駛汽車的發展在未來幾年將大幅加快。
下一個環節我講一下人形機器人。朋友們,通用機器人的ChatGPT時刻即將到來!
實際上,我所談論的所有技術都將在未來幾年內使這一切成為可能。
我們可以期待在通用機器人領域看到非常迅速且令人驚訝的突破。通用機器人之所以重要,是因為配有履帶和輪子的機器人需要特殊的環境來適應。而世界上有三種機器人,它們可以製造出來並且不需要綠地(經過開發的場地),棕地(未經開發的場地)適應的特性非常完美。如果我們能夠建構這些令人驚嘆的機器人,我們就能夠在我們創造的世界中部署它們。
這三種機器人分別是:
第一,智慧型手機器人和智能人工智慧,因為它們是資訊工作者,只要能夠適應我們辦公室中的電腦,這就是極好的。
第二,自動駕駛汽車,因為我們已經花費了超過100年的時間來建設道路和城市。
第三,人形機器人。
如果我們能夠解決這三項技術問題,這將是世界上有史以來最大的科技產業。因此,我們認為機器人時代即將來臨。關鍵的能力在於如何訓練這些機器人。在人類或機器人方面,模仿資訊的獲取相對困難。原因在於,針對汽車的情況,我們只需駕駛它。我們一直在開車。而對於人類或機器人,這種模仿資訊,即人類演示,往往是相當費力的。因此,我們需要想出一種巧妙的方法來收集數百次、成千上萬次的人類演示,並且以某種方式使用人工智慧和Omniverse來合成產生數百萬種合成動作。
首先,Groot Teleop使得熟練的人工操作員能夠通過Apple Vision Pro進入他們機器人的數字雙胞胎。這意味著操作員即使沒有物理機器人,也能捕捉資料,並且可以在無風險的環境中操作機器人,消除了物理損壞或磨損的可能性。為了教會機器人執行單一任務,操作員會通過少量遠端操作演示捕捉運動軌跡,然後使用Groot Mimic將這些軌跡擴展成更大的資料集。接下來,他們利用Groot Gen,基於Omniverse和Cosmos進行領域隨機化和3D到現實的上採樣,生成一個指數級增長的資料集。
Omniverse和Cosmos多元宇宙模擬引擎提供了一個大規模的資料集,用於訓練機器人策略。一旦策略訓練完成,開發者可以在IsaacSim中進行軟體環中測試和驗證,然後再部署到真實機器人上。通用機器人時代即將到來,由NVIDIA Isaac Groot驅動。
我們將擁有大量資料來訓練機器人。NVIDIA Isaac Groot,這是我們為機器人行業提供技術要素的平台,以加速通用機器人開發。
此外,我還有一件事想向大家展示。如果沒有我們大約十年前開始的這個令人難以置信的項目,一切都無法實現。在公司內部,這個項目被稱為“Project DIGITS”。深度學習GPU智能訓練系統,數字。在我們推出之前,我將其縮減為DGX,以便與RTX、AGX、OVX及我們公司其他“X”系列產品協調一致。DGX一號真正顛覆了人工智慧的格局。我們之所以開發它,是因為我們希望讓研究人員和初創公司能夠擁有一台開箱即用的AI超級電腦。想像一下,過去超級電腦的建構方式。您真的需要自己建立一個設施,搭建自己的基礎設施,並進行工程設計。
我們為人AI創造了一台超級電腦,專為研究人員和初創企業開發,幾乎是即開即用的。我在2016年將第一台交付給一家名為OpenAI的初創公司。那時馬斯克、Ilya以及許多NVIDIA工程師都在場。我們共同慶祝DGX-1的到來。顯然,它徹底改變了人工智慧計算的方式。但現在人工智慧無處不在,它不僅僅存在於研究人員和初創公司的實驗室中。正如我在開場時提到的,我們希望人工智慧能融入每一個方面。這是新的計算方式,是新的軟體開發方式。每一位軟體工程師、每一位工程師、每一位創造性藝術家,所有今天使用電腦作為工具的人,都需要一台人工智慧超級電腦。因此,我只希望DGX-1能夠更小一些。
各位女士們、先生們,請想像一下,這是輝達最新的人工智慧超級電腦,目前親切地被稱為“項目數字”。如果你有一個好的名字,請聯絡我們。令人驚嘆的是,這是一台人工智慧超級電腦。它運行著整個輝達的人工智慧技術堆疊。所有輝達的軟體都在此運行。DGX Cloud 也基於它。它是無線的,或者說,連接到你的電腦上。如果你願意,它甚至可以作為工作站使用。你可以像訪問雲超級電腦一樣訪問它,輝達的人工智慧也在這裡運作。
這基於我們一直在研發的一款超級秘密晶片,名為GB10,這是我們製造的最小的Grace Blackwell。這就是裡面的晶片。它已經進入生產階段。這款頂級機密的晶片是我們與聯發科合作開發的。
聯發科技是全球領先的 SoC 公司,他們與我們合作打造了這個 CPU,這個 CPU SoC,並通過晶片到晶片的 NVLink 連接到 Blackwell GPU。這款小裝置已經進入全面生產,我們預計這款電腦將在五月左右上市。這真是太令人難以置信了,我們所能做到的事情。我一直在思考,我是需要更多的手還是更多的口袋?想像一下,它就是這樣的樣子。誰不想要一個呢?無論你使用的是 PC,Mac,還是任何其他裝置。因為,它是一個雲平台,一個可以放在你桌子上的雲端運算平台。
如果您願意,可以將其用作Linux工作站。所有這些功能開箱即用。它就像一台超級電腦。我們的整個超級計算棧已可用。這就是NVIDIA Project DIGITS。
好的,讓我告訴您我所說的,我們正在生產三款新的Blackwell。不僅Grace Blackwell超級電腦、NVLink 72在全球範圍內投入生產,我們現在還有三款新的Blackwell系統投入生產。
這是令人驚嘆的一年,我感謝大家的到來,我為大家展示一條回顧過去的視訊,並展望新的一年。
新年快樂,再見,謝謝! (芯榜)