NVIDIA 已發佈 Cosmos 3，這是一款開放權重的物理 AI 基礎模型，將視覺推理、多模態世界生成以及原生機器人動作預測統一到單一架構之中。
該平台推動行業從“頭重腳輕”的視覺—語言—動作（VLA）模型，轉向世界動作模型（WAM）範式，更強調物理定律、力和軌跡，而不是語言結構。
Cosmos 3 基於mixture-of-transformers（混合 Transformer） 架構建構，使用推理模組來理解時空場景動態，再由生成模組合成高度精準、符合物理規律的資料。
作為一種 omnimodel（全模態模型），Cosmos 3 能夠原生輸出數值化動作資料——包括關節角度和夾爪軌跡——讓開發者可以針對特定機器人本體進行微調。
NVIDIA 宣佈成立 Cosmos Coalition，創始成員包括 Agile Robots、Skild AI 和 Generalist AI，旨在通過 Linux Foundation 的 OpenMDW 1.1 許可協議，推動開放世界模型的標準化。
在機器人行業中，“世界模型”這一本體分類，迅速演變成一個擁擠且資本高度集中的戰場。儘管一些實驗室正向預測式架構投入數十億美元，業內一些有影響力的聲音也已公開質疑：把機器人動作硬嫁接到那些主要基於網際網路文字訓練出來的“大腦”上，是否正在拖慢整個領域的發展。
在中國台北國際電腦展（COMPUTEX）期間舉行的 NVIDIA GTC Taipei 上，這家矽谷晶片巨頭給出了其決定性的架構反擊。公司發佈了NVIDIA Cosmos 3，一款開放式世界基礎模型，旨在把視覺推理、物理模擬和動作預測統一進一個單一系統中。
這次發佈，正是 NVIDIA 具身自主研究負責人 Jim Fan 幾週前所概述的那套“終局”戰略的直接落地。在那場具有里程碑意義的演講中，Fan 詳細闡述了行業必須從“頭重腳輕”、語言優先的框架，轉向以視訊為先的世界動作模型（WAM），把物理和動作視為一等公民。Cosmos 3 就是這份藍圖的產品化實現。
NVIDIA 官方發佈的 Cosmos 3 視覺圖，凸顯了其作為物理 AI 通用基礎模型的雄心。圖中的圖示象徵著這一全模態模型能夠接收多模態輸入，並原生輸出帶有空間條件和動作條件的資料，以適配多種不同本體，彌合自動駕駛汽車與人形機器人之間的鴻溝。
架構：讓物理成為一等公民
Cosmos 3 直擊物理 AI 的核心瓶頸：如何在物理訓練資料有限的情況下，讓機器人、自動駕駛汽車（AV）和視覺智能體在非結構化的現實世界環境中實現泛化。
為了突破那些在物理“動詞”上表現乏力的模型所帶來的限制，NVIDIA 設計了一種 mixture-of-transformers（混合 Transformer） 架構。該模型將一個專用的推理 Transformer 模組，與一個專家生成 Transformer 模組配對使用。推理模組負責理解運動場景、物體互動，以及隨時間變化的時空關係。隨後，生成模組利用這些理解，產出符合物理規律的高精度輸出，涵蓋合成視訊序列、文字、圖像以及環境聲音。
Cosmos 3 在由數十億個物理 AI 樣本組成的海量多模態資料集上完成訓練，並已橫掃開放排行榜。在世界生成精準性方面，它在 Artificial Analysis、Physics-IQ、PAI-Bench 和 R-Bench 上均排名第一。
NVIDIA 正在分三個層級發佈這一模型家族：
- Cosmos 3 Super：面向需要最高物理精度和生成質量的機器人與自動駕駛後訓練模型。
- Cosmos 3 Nano：輕量版本，可在極短時間內實現高品質視訊與動作推理。
- Cosmos 3 Edge：即將推出，專為直接在邊緣物理硬體上進行即時推理而設計。
為多種本體生成動作資料
至關重要的是，Cosmos 3 作為一種全模態模型，具備原生動作生成能力。它並不把視覺—語言訓練當作概念上的枴杖，而是能夠直接輸出數值化動作資料，包括關節角度、夾爪位置以及空間軌跡點。
對於雙臂操作這類複雜任務，機器人需要即時、響應式的指導，知道如何伸手、抓取，並在動作中途根據受力情況進行修正。開發者可以對 Cosmos 3 進行微調，使其底層的物理常識適配特定的攝影機佈局、定製化工作空間或獨特的機械形態。在模擬和現實世界基準測試中，基於 Cosmos 3 Nano 進行後訓練的策略，在 RoboLab 和 RoboArena 排行榜上拿下了第一名。
這次發佈還與 NVIDIA 的硬體生態深度整合。同樣在 GTC Taipei 上，公司還發佈了 NVIDIA Isaac GR00T 參考人形機器人，這是一套開放式參考架構，採用下一代Jetson AGX Thor T5000計算平台。Cosmos 3 作為驅動這些系統的預測基線存在，實際上將研究驗證週期從數月壓縮到了短短幾天。
Cosmos Coalition：擴張數字飛輪
為了將這一架構確立為物理智能的全球標準，NVIDIA 宣佈成立 Cosmos Coalition。這一全球協作聯盟匯聚了世界模型建構者、AI 開發者和機器人先鋒企業，旨在通過共享模型、評測指標以及基於 NVIDIA DGX Cloud 基礎設施的大規模訓練工作流，推進開源物理 AI 發展。
該聯盟的創始成員，幾乎覆蓋了當下機器人產業版圖中的關鍵垂直環節：
Agile Robots：這家位於慕尼黑的自動化明星企業，已在使用 Cosmos 3 大規模生成帶動作條件的軌跡資料，用於其策略開發，包括其工業級人形機器人平台 Agile ONE。這也進一步強化了其現有的工廠智能擴張計畫，而該計畫此前已與 Google DeepMind 建立研究合作。
Skild AI：在獲得創紀錄的 14 億美元 C 輪融資後，Skild 正借助 Cosmos 強化其“全本體”基礎模型。此次整合將直接輸入其機器人群體編排軟體，而該軟體能力近期又隨著其收購 Zebra Technologies 旗下 Fetch Robotics 業務而進一步擴大。
Generalist AI：這家公司以堅持從零開始訓練超大參數模型而聞名，如今也加入了該聯盟。獲得 Cosmos 3 合成資料引擎的訪問能力後，它將擁有一條可大規模補充其專有資料集的管線，繼續推動其在近期 GEN-1 模型發佈中所強調的“智能即興應變”路線。
“算力等於環境，環境等於資料”
Cosmos 3 以 Linux Foundation 的 OpenMDW 1.1 許可協議進行開放權重發佈，這相當於對那些封閉原始碼、試圖建構通用“智能層”的模型進行了一次精心計算的打擊。該許可框架為開發者提供了統一的法律與工程基礎，使其能夠在企業級流程中訓練、修改、重新分發並部署權重、文件和原始碼。
通過將核心世界模型開源，NVIDIA 正在踐行 Jim Fan 的核心擴展公式：算力如今等於環境，環境等於資料。與其迫使實驗室依賴緩慢、危險且脆弱的物理遙操作，不如讓機器人在一個生成式神經模擬器中運行強化學習——本質上就是讓它們在“做夢”中平行完成數千小時幾乎無瑕疵的物理互動。
“由於多模態推理、語言、視覺和世界模型方面的突破，物理 AI 的大爆發已經近在眼前。”NVIDIA CEO 黃仁勳在主題演講中表示。通過將物理預測引擎民主化，NVIDIA 不僅是在賣晶片；它更是在將自己的生態系統定位為未來物理圖靈測試最底層、最核心的基石。
Cosmos 3 Super 和 Cosmos 3 Nano現已在 Hugging Face、GitHub 以及通過 NVIDIA NIM 微服務 正式上線。 (AI工業)