這個世界只能維持 120 秒,然後一切開始崩塌。然而在這兩分鐘裡,你可以隨時改變天氣、召喚巨龍,甚至讓一座城市為你拔地而起。
剛剛,Google DeepMind 正式發佈新一代世界模型 Genie 4,AI 生成的虛擬世界,又向現實邁進了一大步。
相比上一代,Genie 4 不僅讓畫面更加逼真,還能即時生成聲音、模擬物理規律,甚至讓使用者直接走進 AI 創造的世界,隨時改變天氣、加入人物,與虛擬角色對話。
更重要的是,Google還將 Gemini 引入世界模擬,讓大語言模型負責規劃行動,Genie 4 負責即時生成環境。過去只能觀看的 AI 視訊,正在變成一個可以自由探索、持續互動的虛擬世界。
AI 視訊的下一站,是可以走進去的世界
早在 2024 年,Google DeepMind 就推出了 Genie 1,嘗試從視訊中學習動作與環境變化之間的關係。隨後,Genie 2 將能力擴展到可探索的三維環境,2025 年發佈的 Genie 3 則實現了即時生成、即時互動。
如今,Genie 4 在真實感、物理模擬和互動能力上再次升級,單次模擬時長也從約一分鐘延長至兩分鐘。
根據Google公佈的演示,使用者只需輸入一段文字,就能生成可以探索的虛擬世界,通過鍵盤控制角色移動、調整鏡頭,甚至在運行過程中繼續輸入提示詞,改變整個場景。
例如,在一個漂浮於湖面的小平台上,一名身穿棕色西裝的男子正在演奏薩克斯。周圍是薄霧籠罩的湖水、森林和隨風搖曳的植物。
使用者可以自由移動鏡頭,觀察演奏者的動作和湖面變化,甚至臨時改變天氣、加入人物或物體。Gemini 會結合當前環境理解指令,幫助 Genie 4 維持場景的連貫性。
提前體驗 Genie 4 的華頓商學院教授伊桑·莫利克,只用一句「一座由機器人和馬匹居住的新哥特式粗野主義城市」,便在一分鐘內生成了一座虛擬城市,隨後又即時加入了巨龍和一隻友善的水獺 NPC。
另一邊,a16z 投資人賈斯汀·摩爾也展示了一段被他戲稱為「GTA Waymo」的演示,在完全由 AI 即時生成的城市環境中自由探索,整個過程都可以直接互動。
摩爾還展示了一個僅靠環境與角色提示詞建立的虛擬世界,使用者能夠在運行過程中繼續下達指令、改變場景,並聽到與世界同步生成的原生音訊。
從這些實際體驗也能看出,Genie 4 的特別之處在於,整個過程不需要預先製作三維地圖,也沒有固定的場景演出,AI 會根據使用者的操作持續生成接下來發生的事情。
在物理模擬方面,Google還展示了西瓜受到衝擊、楓樹種子從空中飄落,以及擁擠的鄉村火車站等案例,呈現碰撞、空氣動力學、重力作用和複雜人群行為。
尤其是人物動作,Genie 4 能讓虛擬角色更加自然地移動,並根據環境變化作出反應,使用者也可以即時引導角色的行為。
過去,AI 生成視訊通常是一次性交付,使用者只能觀看最終結果。如今,Genie 4 試圖讓每一次移動、每一個操作,都成為影響虛擬世界發展的新變數。
AI 生成的世界,終於有聲音了
Genie 4 的另一項重要升級,是首次支援原生音訊生成。
此前,Genie 系列主要圍繞畫面和動作互動展開。如今,Genie 4 可以在生成世界的同時,即時生成環境聲音、音樂和人物對話。
例如,海邊會有海浪聲,樹林裡會有風聲,騎著巨龍穿越山谷時,還能聽見翅膀拍打空氣、狂風呼嘯以及遠處的火山活動。
更值得關注的是,Genie 4 開始讓虛擬人物擁有即時對話能力。
傳統遊戲中的 NPC 通常依賴預先設計的對白和行為邏輯,而 Genie 4 可以根據使用者輸入和場景中發生的事情,動態生成角色的語言與反應。
這意味著,未來玩家有機會走進一個 AI 創造的世界,與裡面的人物自由交流,甚至通過自己的行動改變故事發展。
不過,Genie 4 目前仍存在音訊精準性和長期一致性方面的問題,距離真正支撐大型開放世界遊戲,還有不小的技術距離。
Gemini 也來當導演,AI 開始理解世界如何運轉
如果說畫面和聲音讓 Genie 4 更加接近現實,那麼 Gemini 的加入,則讓世界模型開始具備複雜的推理和規劃能力。
根據 Google DeepMind 的介紹,Genie 4 融合了 Gemini 家族的多項能力。
其中,Gemini Omni 為模擬提供現實世界的外觀與行為基礎,而 Gemini 3.8 Flash 則充當即時引導智能體,持續觀察生成畫面,將任務分解為多個步驟,並判斷每一步是否成功。
Genie 4 負責生成虛擬世界,Gemini 則負責規劃接下來應該發生什麼。
例如,使用者要求機器人完成一項複雜任務,Gemini 可以將任務分解成多個動作,觀察機器人在模擬環境中的表現,並根據執行結果調整下一步計畫。
即使使用者臨時改變要求,或者周圍環境發生變化,Gemini 也可以即時修改行動方案。
Google還展示了一項結合 Gemini 4 Argon 與 Genie 4 的研究實驗。
在演示中,Gemini 4 Argon 將任務分解為連續步驟,Genie 4 則即時模擬 Apptronik 旗下 Apollo 人形機器人下跳棋的過程。
相比單純生成一段機器人下棋的視訊,這種組合更強調對任務執行過程的持續模擬和調整。
對於機器人訓練來說,這項能力很有價值。
現實中的機器人訓練需要大量裝置、場地和實驗,一些危險或成本高昂的場景也很難反覆測試。如果世界模型能夠準確模擬物理環境,機器人就有機會在虛擬世界中提前練習,再將學到的能力遷移到現實。
Google DeepMind 研究主管 Tejas Kulkarni 也表示,未來的重要方向是混合世界模型,將語言模型的結構化推理能力與世界模型的感官模擬能力結合起來。
Gemini 可以負責規劃和組織複雜事件,Genie 則將這些規劃轉化為即時變化的畫面、聲音和物理環境。
AI 開始嘗試在自己創造的世界中,預測並驗證行動可能帶來的結果。
世界模型的野心,遠遠不止遊戲
目前,Google DeepMind 已邀請電影、遊戲、新聞、教育和工程等行業的測試者,探索 Genie 4 的實際應用。
其中,一個頗具想像力的方向是電影製作。
過去,導演想驗證複雜鏡頭,通常需要提前製作分鏡、搭建三維場景,或者安排演員預演。
借助 Genie 4,創作者可以通過文字生成一個可探索的虛擬場景,直接進入其中調整鏡頭、燈光、人物動作和對白,快速嘗試不同的拍攝方案。
對於遊戲開發者,Genie 4 也可能成為快速原型工具。開發者可以通過提示詞創造遊戲環境,直接測試美術風格、材質表現和基礎互動玩法,再決定是否投入資源正式開發。
新聞與教育領域同樣存在應用空間。
Google提到,一些攝影記者正在嘗試將二維歷史照片轉化為可探索的動態場景,或者通過模擬展示洪水、野火等事件的發展過程。不過,AI 根據歷史照片推斷出的畫面,並不能直接視為對歷史事實的精準重建。
在企業端,世界模型也可能用於工業模擬、機器人研發和複雜環境測試,減少部分真實試驗所需的時間與成本。
隨著應用前景逐漸清晰,世界模型也成為 AI 巨頭爭奪的新方向。
除了Google,Runway 已推出支援即時音訊和互動的 GWM Worlds 2,而李飛飛創立的 World Labs 則選擇了另一條空間智能路線,更強調三維環境的重建、編輯和長期一致性。
今年 9 月,AMD 宣佈以約 82 億美元收購 World Labs,也足以說明世界模型的價值,已經從內容生成延伸到了機器人和 AI 算力基礎設施。
只有 120 秒的世界,卻通向 AI 的未來
儘管 Genie 4 展示了令人印象深刻的能力,但距離真正完整的數字世界,仍然有很長一段路。
目前,模型能夠維持的互動模擬時長約為兩分鐘。隨著模擬時間延長,物體細節可能發生變化,場景也可能出現前後不一致的問題。
如果使用者連續修改提示詞,或者在較大環境中不斷探索,模型也可能逐漸失去對早期場景資訊的精準把握。此外,複雜物理互動、空間精準性、音訊生成,以及畫面中文字的可讀性,都還有待改進。
目前,Genie 4 已向部分受邀測試者開放研究預覽,未來將通過 Project Genie 向 Google AI Ultra 訂閱使用者開放,並逐步提供給 Gemini API 和 Google AI Studio 的早期合作夥伴。
回看過去幾年的生成式 AI,從文字到圖片,從圖片到視訊,再到如今可以即時探索、擁有聲音和人物行為的虛擬環境,AI 生成內容的邊界正在不斷擴大。
而 Genie 4 真正值得關注的地方,是世界模型開始與大語言模型的推理能力深度結合。
過去,AI 可以告訴你一個人推開門後可能看到什麼,也能生成一段推門的視訊。未來,它還需要理解門為什麼會打開,門後的人會如何反應,以及接下來的一連序列動會產生什麼結果。
對於走向現實世界的 AI Agent 和機器人來說,能夠預測行動後果,並在虛擬環境中反覆嘗試,可能比生成一段漂亮的視訊更加重要。(APPSO)

