輝達為旗艦工作站DGX Station推出Agent Toolkit軟件工具包，用戶僅需三步、約30分鐘即可在本地部署並運行AI代理。同時輝達將Agent Toolkit與Omniverse模擬平台結合，進一步拓展了其工作站端AI智能體的應用場景。 輝達正在將其Agentic AI生態從雲端數據中心向桌面端延伸。公司近日宣佈，為搭載GB300 Blackwell Ultra GPU的旗艦工作站DGX Station推出Agent Toolkit軟件工具包，用戶僅需三步、約30分鐘即可在本地部署並運行AI代理。 Agent Toolkit的核心價值在於大幅降低Agentic AI的使用門檻。此前，運行復雜的AI代理通常依賴雲端GPU叢集，對中小開發者和企業團隊存在算力獲取成本和部署複雜度的雙重阻礙。 DGX Station本身已是輝達最強大的工作站PC，配備GB300 Blackwell Ultra GPU，而Agent Toolkit通過高度簡化的設置流程——僅需三個步驟即可完成軟件部署——讓開發者在桌面端就能運行復雜的AI代理任務。

NVIDIA today announced that NVIDIA Agent Toolkit now includes NVIDIA Omniverse libraries — a collection of software components that give AI agents tools and skills to add physical AI capabilities to existing applications and prepare 3D content for simulation. 輝達今日宣佈，輝達智能體工具包現已包含輝達Omniverse庫——這是一組軟件組件，可為AI智能體提供工具和技能，從而為現有應用增添具身智能能力，併為模擬準備3D內容。 Robots, factories and autonomous systems need to be designed, tested and trained in simulation before they operate in the real world. Preparing 3D content for simulation takes more than realistic visuals — assets need the right structure, materials, scale, labels, sensors and physical properties. With NVIDIA Omniverse libraries in NVIDIA Agent Toolkit, AI agents have the tools and skills to build workflows, inspect scenes, flag issues and prepare assets, helping developers move faster from 3D content to simulation-ready environments. 機器人、工廠和自主系統在現實世界中運行之前，需要在模擬環境中進行設計、測試和訓練。為模擬準備3D內容不僅需要逼真的視覺效果，資產還需具備正確的結構、材質、比例、標籤、傳感器和物理屬性。藉助輝達智能體工具包中的輝達Omniverse庫，AI智能體擁有了構建工作流、檢查場景、標記問題並準備資產的工具和技能，幫助開發者更快地將3D內容轉化為可用於模擬的環境。 (Benzinga)

過去兩年裡，輝達因為AI晶片業務實現了驚人的增長。從2023年前九個月的275億美元營收躍升至2024年同期的近1480億美元，這樣的增長速度在科技行業歷史上都算得上罕見。然而黃仁勳並不滿足於此。他將輝達的下一階段押注在機器人和製造業上，於是就有了Omniverse。但其結果不僅沒有達到預期，甚至還讓慈眉善目的黃仁勳“破防了”。這種反常的情緒爆發背後，是一個從高開走低到幾近崩盤的故事。而要理解Omniverse究竟遭遇了什麼，還得從它最初的雄心壯志說起。01Omniverse有一個非常夢幻的開局。在GTC 2021上，黃仁勳親自為其站台，並以Omniverse作為開場和收尾，全程的演講中反覆強調其戰略地位。黃仁勳視Omniverse為輝達的下一個落腳點，而且公開表示，該平台能夠讓輝達在價值50兆美元的製造業和物流業中分一杯羹。在今年拉斯維加斯的消費電子展上，他還向外界講述這個價值數兆美元的機會故事，展台上會有西門子CEO、敏捷機器人公司CTO等重量級嘉賓站台。但在這些光鮮的表面之下，隱藏著一個令人尷尬的事實。四位現任和前任輝達員工透露，經過四年的努力，Omniverse業務幾乎沒有取得實質性進展。雖然輝達對外公佈了一長串使用Omniverse軟體的公司名單，從寶馬、西門子到富士康、波士頓動力，但真正簽約在Omniverse Cloud伺服器上運行大規模模擬的公司寥寥無幾。開發者對Omniverse工具的評價也不盡如人意。使用過Omniverse場景建構和模擬工具的開發者經常抱怨軟體難以使用，容易崩潰，功能感覺不完整。軟體開發者Valentin Forager表示，Omniverse軟體在建立虛擬零售貨架時表現良好，他的公司用這些虛擬貨架來開發追蹤購物者如何查看商品的感測器。但當他嘗試在同一虛擬環境中模擬人類時，平台就崩潰了。“一旦你嘗試做一些稍微超出常規的事情，這東西就壞了，幾乎從來不能正常工作，”Forager說道。更令人意外的是，當Forager在首爾的一次輝達贊助活動上向公司代表提出這個問題時，對方承認Omniverse還沒有準備好滿足他的特定需求，並建議他使用對手公司Unity的軟體。黃仁勳對這種局面的不滿已經不是秘密。在2023年的一次全體會議上，黃仁勳質問負責Omniverse的副總裁Rev Lebaredian，質問他的團隊是否賺到了錢。隨後，當黃仁勳還得知了一件讓他非常生氣的事情，那就是輝達與寶馬宣佈合作以後，寶馬團隊使用Omniverse的實際規模遠小於他最初被告知的數量。當Omniverse部門的一個團隊在電話會議上要求增加人員來開發新產品時，黃仁勳立刻變得憤怒起來。據一位參與通話的人士說，黃仁勳在接下來的一個小時裡訓斥了他們，指責團隊浪費工程師的時間，並向他們講授輝達如何建構產品。他告訴他們，團隊已經有足夠多的人了。問題的根源在於，Omniverse部門的工程師經常忙於建構新功能和產品的演示，這些演示在受控環境中運行良好，但無法處理實際情況。在與下屬的會議中，黃仁勳表達了對Omniverse團隊在無法轉化為實際產品的演示上浪費工程時間的不滿。2023年和2024年期間，Omniverse團隊向黃仁勳展示了大量軟體演示，從允許多人協作3D模型的工具到串流媒體軟體概念和包括汽車在內的新模擬程序。但時至今日，這支團隊沒有將任何一個演示轉化為產品。02黃仁勳對Omniverse的構想，是目前輝達團隊不能達到的。模擬物理世界的運動和行為，聽起來是個工程問題，實際上複雜程度遠超大多數人的想像。對於剛體，比如汽車底盤、機械臂這類形狀固定的物體，運動學模擬相對成熟。計算它們的位移、旋轉、碰撞，現有的物理引擎基本能夠勝任。但一旦涉及到柔性物體，整個問題的難度就呈指數級上升。當機器人需要抓取、折疊或整理衣物時，這塊布料的形狀會不斷變化，每一處褶皺、每一次扭曲都涉及到極其複雜的非線性物理計算。Omniverse需要即時計算成千上萬個網格點的變形、摩擦力、張力分佈，還要處理布料與機器人手爪之間的接觸和滑動。液體的模擬同樣困難，流體動力學方程本身就是物理學中最難求解的方程之一，要在毫秒級的時間內完成即時計算，對計算能力的要求高得驚人。最後是管線。這些物體既有柔性，又有一定的剛性約束，在運動中會發生彎曲、扭轉、纏繞，甚至打結。汽車製造中有大量線束需要安裝，如果無法精準模擬線纜的物理特性，機器人在虛擬環境中學到的技能就無法遷移到真實世界。Isaac Sim是一款基於Omniverse建構的開源參考應用，幾位機器人公司的聯合創始人直言不諱地指出了其侷限性。這款輝達的機器人模擬工具在訓練機器人行走或自主移動方面確實有用，但在讓機器人操縱複雜物體方面幾乎派不上用場，尤其是像衣物這種形狀不斷變化的物體。還有一點，Omniverse最初的設想是用同一套場景，模擬所有可能發生的物理變化。可是在實際使用中卻發現，對特定場景進行特定模擬才是最高效的，通用模擬反而毫無幫助。為不同行業建構通用的模擬軟體本身就是一個幾乎不可能完成的任務。機器人模擬與汽車模擬完全不同，工業裝置的模擬又是另一套邏輯。每個領域都有自己獨特的物理特性、精度要求和應用場景。試圖用一套框架滿足所有需求，結果往往是那個領域都做不好。這也解釋了為什麼許多公司選擇自己開發模擬軟體。特斯拉就是典型例子，他們仍在建構自己的模擬軟體，而不是轉向輝達的產品。熟悉該行業的人士透露，機器人行業本身還處於早期階段，主要玩家都傾向於掌握核心技術的自主權。輝達試圖通過投資來彌補技術短板和應用場景的缺失。公司向多家提供數字孿生和模擬服務的初創公司注資，希望更好地瞭解客戶需求，同時鼓勵這些公司在Omniverse的軟體工具之上建構特定行業的服務。2024年12月，輝達宣佈向Synopsys投資20億美元，這家公司是全球領先的半導體設計軟體提供商，其在7月完成的對Ansys的350億美元收購，讓它獲得了廣泛用於模擬真實物理行為的軟體。一位獲得輝達投資的CEO表示，“我認為人們低估了用真正的領域知識建構這些模擬需要多少資源。這需要很長時間。Omniverse不是一個完整的應用程式，它是一個面向開發者建構的橫向開放平台。”這句話揭示了Omniverse的定位困境。作為一個底層平台，它需要大量的上層應用來填充生態；但作為一個未成熟的平台，它又缺乏足夠的穩定性和完整性來吸引開發者投入資源。這種雞和蛋的問題，在平台型產品的發展初期很常見，但輝達顯然還沒有找到破局之道。競爭對手已經在蠶食市場。UnityTechnologies的軟體曾用於開發《精靈寶可夢GO》等熱門視訊遊戲，現在也提供生成場景和物體的工具，讓客戶在虛擬環境中設計、測試和訓練機器人系統。開源機器人模擬器Gazebo由非營利組織OpenRobotics推出，也在爭奪使用者。這些競爭者各有優勢，Unity在圖形渲染和使用者體驗方面積累深厚，Gazebo則因為開源而獲得了社區的廣泛支援。雖然輝達的高管們總是將Omniverse比作公司早期在Cuda上的長期押注。Rev Lebaredian在一份書面聲明中說：“就像我們在Cuda上投資了十多年才革新深度學習一樣，輝達花了數年時間建構Omniverse，作為開啟加速計算下一個巨大市場——物理AI——的基礎軟體。”但Cuda和Omniverse面臨的市場環境完全不同。Cuda推出時，深度學習的潛力已經在學術界顯現，只是缺乏合適的工具和硬體。而Omniverse面對的是一個更加分散、需求更加多元的市場。許多工業製造商既沒有專業知識，也沒有足夠的資金投入到這項技術中。前輝達員工和行業內部人士都承認，輝達可能超前於時代，試圖創造一個尚不存在的市場，而沒人知道自己需要這個市場。03Omniverse的挫折，影響遠不止一個產品線的得失。這關乎輝達在整個科技產業中的戰略定位。過去二十年，輝達從一家顯示卡製造商轉變為AI時代的基礎設施提供者，這個轉變的關鍵在於它不僅賣硬體，更定義了一套生態系統。Cuda讓輝達的GPU成為AI開發的事實標準，開發者用Cuda編寫的程式碼只能在輝達的晶片上高效運行，這種鎖定效應為公司建立了深厚的護城河。Omniverse承載著類似的戰略野心。黃仁勳的願景是讓每家公司在建構實體之前都先模擬它們的機器人、車輛和工廠，從而推動數十億美元的輝達晶片採購，就像公司現在為訓練和運行AI模型所做的那樣。如果這個願景實現，輝達就能在製造業、物流業、機器人產業中複製它在AI領域的成功，不僅賣GPU，還通過軟體生態牢牢繫結客戶。但如果Omniverse失敗，後果不僅是損失一個增長機會。更嚴重的威脅在於，輝達可能失去定義下一代範式的機會，從生態系統的制定者退化為一個純粹的硬體元件供應商。這個風險正在逐漸顯現。當特斯拉、各大機器人公司選擇自建模擬系統時，它們實際上是在拒絕輝達提供的軟體生態。這些公司會繼續購買輝達的GPU，因為在純粹的計算能力上，輝達的硬體仍然領先——但它們不會被鎖定在輝達的軟體棧中。這意味著一旦出現性能相當的競爭對手晶片，客戶的遷移成本會大大降低。AMD、英特爾、各種AI晶片初創公司都在虎視眈眈。雖然在純粹的性能上它們還落後於輝達，但差距正在縮小。如果輝達失去了軟體生態的護城河，競爭就會回歸到性能和價格的比拚，這對任何硬體公司來說都不是理想的競爭格局。更深層的問題在於主導權。在AI時代，輝達通過Cuda和一系列配套工具，深度參與了AI模型的訓練、推理、部署的每一個環節。這讓它能夠提前感知技術趨勢，快速調整硬體架構，推出針對性的解決方案。但在物理AI和機器人領域，如果客戶都在用自己的軟體棧，輝達就失去了這種洞察力和影響力。黃仁勳顯然意識到了這個風險。他將他的兩個孩子都安插在了Omniverse部門工作。女兒Madison在行銷團隊擔任高級經理，兒子Spencer是機器人產品經理。這不僅是業務佈局，更是戰略層面的焦慮。熟悉輝達業務的人士透露，黃仁勳在幕後對團隊在大公司中採用緩慢的問題越來越不耐煩。問題的癥結在於，輝達試圖在一個碎片化的市場中強行建立統一標準。製造業、物流業、機器人產業，每個領域都有自己的技術積累、工作流程和痛點。一個橫向平台想要滿足所有需求，要麼做得足夠底層，要麼提供豐富的上層應用。但那樣對於開發者來說太難了，而且也會變相增加使用者的門檻，這完全有悖於輝達Cuda簡單易用的底層邏輯。時間也不站在輝達這邊。機器人產業正在快速發展，各種技術路線都在試探。如果輝達不能在這個關鍵窗口期確立標準，等市場格局固化後再想改變就難上加難。特斯拉的Optimus機器人項目、各種人形機器人創業公司、工業機器人巨頭，它們現在選擇的技術堆疊很可能就是未來十年的主流。更讓人擔憂的是，這種挫折可能動搖輝達在其他新興領域的佈局信心。公司在自動駕駛、醫療影像、科學計算等多個方向都有投入，如果Omniverse的經驗讓管理層對軟體生態戰略產生懷疑，可能會影響到整體的戰略執行。當然，現在說Omniverse徹底失敗還為時過早。Rev Lebaredian在聲明中提到，Omniverse主要雲服務提供商正在建立專門的模擬基礎設施，機器人和汽車公司正在使用輝達的框架建構和訓練下一代自主機器。可以肯定的是，市場需求確實存在，只是爆發的時間點還不確定。黃仁勳的焦慮不是沒有道理的。在科技產業，定義標準和生態的公司往往能獲得遠超硬體利潤的價值。微軟定義了PC軟體生態，Google定義了移動網際網路生態，輝達在AI時代定義了計算生態。每一次生態的建立都需要天時地利人和，需要技術突破、市場時機和執行力的完美結合。Omniverse目前的困境表明，這一次的挑戰可能比想像中更加艱巨。 (字母AI)

黃仁勳的核心觀點是：機器人（Physical AI）將迎來能力爆發，關鍵在於把訓練場搬進可規模化的數字世界——用 Omniverse 搭建可物理模擬的 3D 世界平台、用 Cosmos 作為面向物理世界的“世界模型”，並像“PDF/搜尋”那樣引入 ground truth（事實錨點）：用模擬把牛頓物理等規律“編碼”進去，去約束/校準模型生成的未來情境保持物理可信；這樣機器人就能在虛擬環境裡以安全、低成本、超高頻的方式覆蓋海量光照/材質/場景組合，學到能力後再遷移到真實世界，構成爆發的技術基礎。來源：AI工業（採用 AI 工具整理）本文基於 黃仁勳 等的公開視訊（https://www.youtube.com/watch?v=-bMIq_WM4gg）進行學習復盤，僅供學習交流參考。亦可加入知識星球閱讀更多資料（方式見文末）。從「無解難題」到深度學習拐點來源：AI工業（採用 AI 工具整理）2012 年前，電腦視覺、語音識別、語言理解這些關鍵智能問題幾乎沒有解法，只能算是人類「強烈渴望但無能為力」的難題。深度學習出現之後，這些問題開始在短短幾年內被逐一攻克，從“沒有解決方案”變成“一個接一個被解決”，這讓押注這條路線的人，看到了足夠堅定的理由：未來一定會徹底改變。在這樣一條長期路線上，要穿過八到十年的「真空期」，關鍵在於你有沒有一套穩固的核心信念。這套信念必須從第一性原理出發推理——要麼基於物理規律，要麼基於對行業結構的深刻理解，要麼基於對相關科學的深入理解。只要這些底層原理和初始假設沒有變化，就沒有理由去改變自己的核心判斷。中間可能會有很長一段時間看不到明顯成果，你會微調方向，但不會輕易推翻整套信念。也正因為如此，輝達在真正結果出現之前，已經在這條路線投入了數百億美元，即便外界有聲音希望公司“多留利潤、抬股價”，他們仍選擇優先投資自己的未來。兩大核心判斷：計算範式與深度學習本質來源：AI工業（採用 AI 工具整理）這背後最重要的是兩個核心判斷。第一個是關於計算範式的判斷：未來的主線是加速計算和平行計算，而不是只依賴傳統通用 CPU。通過專門為平行和加速設計的處理器，可以重新定義高性能計算的方式，這一判斷從公司早期就被提出，一直到今天依然成立。第二個判斷是對深度學習本質的認知：深度神經網路可以從各種不同模態的資料中學習模式和關係，並且隨著模型規模與資料規模的增大，能夠學到更細膩、更豐富的特徵。實踐已經證明，模型越大、資料越多，能學到的知識確實越多，而且目前並沒有發現明確的物理極限、架構極限或數學極限，這意味著這條路線可以持續沿著「更大模型 + 更多資料」的方向推進。在這個視角下，資料本質上是人類經驗的數位化。深度學習已經能夠從圖像中學習物體識別，從聲音中學習語音，從海量文字中學習語言、語法、詞彙、句法等結構；更進一步，它可以在不同模態之間進行「翻譯」：文字到文字（摘要、翻譯）、文字到圖像（圖像生成）、圖像到文字（圖像描述）、氨基酸序列到蛋白質結構，未來甚至是蛋白質到自然語言（用一句話解釋一個蛋白的功能，或根據目標性質反推一個蛋白結構）。同理，也可以從文字到視訊，從文字到機器人動作 token。從計算的角度看，這些只是不同模態之間的對應問題，而深度學習已經證明它幾乎可以處理任何模態到任何模態的轉換，於是很多原本看似遙遠的難題，其實都已經在拐角處等待被解決。回顧過去十年，更多的是在夯實「AI 的基礎科學」：摸清模型、演算法、算力、資料之間的關係，證明這條路線真的能走得通。而接下來的十年，在繼續推進基礎研究的同時，重心會明顯轉向「AI 的應用科學」——也就是：如何把這些能力嵌入到具體行業裡。包括數字生物學、氣候科技、農業和漁業、機器人與自動駕駛、交通與物流最佳化、教育與教學、內容與媒體等，AI 不再只是研究課題，而是會成為各行各業的通用基礎能力。Physical AI：在數字世界裡訓練機器人在所有應用方向裡，Physical AI——也就是機器人——是一個特別典型的例子。傳統做法要麼在真實世界中訓練機器人，風險高、成本高、磨損大；要麼依賴有限的資料來源，比如讓人穿動捕服採集動作，這會導致樣本不足、學習緩慢。現在的轉變在於：我們開始在數字世界中訓練機器人，讓它們在虛擬環境裡進行高頻訓練，每天可以經歷遠超現實的重複次數和環境變化，學習速度因此大幅提升。這意味著，機器人領域可能正在走向一次能力「大爆炸」。為此，輝達在搭建配套的「世界」與「工具」。Omniverse 是一個 3D 數字世界平台，用來訓練機器人系統，讓它們不必完全依賴物理世界才能學習；而 Cosmos 則讓這些 3D 世界變得更加真實與多樣：同一張桌子、同一項任務，可以模擬無數種光照、時間、場景與材質組合，讓機器人在虛擬環境中經歷極其豐富的“人生體驗”。通過 Omniverse + Cosmos，機器人可以在虛擬世界中以安全、低成本、超高頻的方式訓練，然後再把學到的能力遷移到物理世界，構成 Physical AI 爆發的技術基礎。ChatGPT 剛出來時非常驚豔：它能根據提示詞生成文字。但它也有明顯問題——當對話變長，或它對自己並不真正瞭解的話題開始“高談闊論”時，會出現幻覺（hallucination）：仍能生成看起來很合理的答案，但不一定基於事實，缺少“真實錨點”。下一代能力是：模型能被上下文（context）約束。你上傳 PDF，那 PDF 就成為 ground truth（事實基準）；模型聯網搜尋，搜尋結果就成為它的事實依據。在“生成模型 + 事實錨點”的組合下，它再去推理如何回答問題，就更可靠。也就是說：第一部分是生成式 AI，第二部分是ground truth（真實依據）。把這個思路延伸到物理世界：要讓機器人真正理解現實，需要一個物理世界的基礎模型（foundation model）。機器人必須理解重力、摩擦、慣性，具備幾何與空間認知；理解物體恆存（object permanence）（看不見時物體仍存在）；理解因果關係（推倒會倒、傾斜會翻）。這些“物理常識”需要被編碼進世界基礎模型，讓 AI 擁有world common sense（世界常識）。他們用Cosmos去做這件事：建構一個**“世界模型 / world language model”，就像 ChatGPT 是語言模型一樣，Cosmos 是面向物理世界的模型。但僅有模型還不夠，還要像“PDF/搜尋”那樣加入ground truth。他們用 Omniverse 的物理模擬來做“事實錨點”：模擬基於牛頓物理等已知規律，通過原則性求解器把物理定律“編碼”進去，因此可以用來約束/校準 Cosmos，使其生成的未來場景是物理上可信（physically plausible）的。因此，Omniverse（模擬） + Cosmos（世界模型） 能生成無限多符合物理規律的未來情境，讓機器人在數字世界裡快速學習。比如工廠機器人要學習所有可能路線，不必在現實中一條條試（耗時且磨損），而是通過模擬在更短時間裡覆蓋更多情況（黑暗、阻塞等），實現更快學習。他預測：未來 10 年，“所有會移動的東西都會變得機器人化”，而且會很快。車輛將更自動化；機器人會先在“Omniverse + Cosmos”裡學習，再進入真實世界。風險、幻覺與「社區式安全架構」來源：AI工業（採用 AI 工具整理）同時也必須討論風險：包括 偏見、毒性、幻覺（對未知內容過度自信導致人們依賴錯誤資訊）、生成假資訊/假新聞/假圖像，以及冒充（impersonation）（AI 能高度擬人甚至擬某個具體人）。在安全工程上，他強調兩類問題：一類是系統本意正確但因工程失誤導致傷害（如自動駕駛的感測器故障、漏檢、策略錯誤）；另一類是 AI 想阻止風險但系統鏈路失敗。解決方式類似航空：依靠冗餘與多層安全網，建構“社區式安全架構”——系統正常時可靠運行，異常時不把人置於危險，並由周圍的安全與防護系統兜底。 (AI工業)

SIGGRAPH大會上，老黃帶著自家元宇宙產品再次大放光彩。 黃仁勳介紹，英偉達（輝達）在神經圖形學、元宇宙、虛擬人（Avatars）推出的產品和研究，將成為引發圖形學的三大革命力量。 英偉達Omniverse ACE 8月9日，英偉達正式發布了一套基於雲服務的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。