推廣活動

剛剛,GoogleGenie 4發佈!世界模型還得是Google

RexAA
•

即時、改環境、語音指令、Gemini…全來了???

剛剛,Google DeepMind正式發佈新一代「世界模型」——Genie 4。

這也是,Google迄今為止最逼真且最具互動性的世界模型。

一句話即時修改場景、模擬真實物理效果,連人物動作、環境音效和互動對話都能同步生成全安排上了。

比如,直接在對話方塊裡輸入指令,畫面中的男子就能回頭做出反應,整個場景還能隨著指令即時變化:

更離譜的是,這個世界裡的人物,居然還能直接開口跟你聊天??!

風聲、水聲等環境音效同步生成,人物也能根據場景變化和你的輸入即時接話,確實無縫接入啊:

更有看頭的是,Gemini也被拉來當「大腦」了——

咱看下面這個demo,虛擬實驗室裡,一台機械臂正夾著移液器,對準實驗孔板進行操作。

從任務步驟規劃,到模擬機械臂的精細動作,整個過程都在AI生成的環境中進行,旁邊還能看到推理步驟:

還有一些獲取早期存取權的網友也已經大roll特roll了。

有網友直接生成了一座地下洞穴,操控角色在錯綜複雜的地道里四處探索、尋找寶藏。

整個洞穴場景隨著玩家的移動即時生成,走那兒、看那兒,AI就接著往下建構,整成大型探險遊戲了!?

雖然,通用模型未必要看Google。

但世界模型,感覺還是得看Google啊。。。

Genie 4來了:整個世界都能即時生成,還能開口說話

如果用一個詞概括Genie 4這次的核心升級,那一定是——「即時」。

簡單來說,AI現在已經能根據你的操作,一邊生成虛擬世界,一邊模擬接下來會發生什麼。

而且這次,Google還把人物、物理效果、聲音,甚至複雜任務推理都給捲上去了~

我幫大家淺淺總結了一波核心能力,先來一睹為快:

即時世界生成與操控:一句話生成可探索的虛擬世界,隨時修改天氣、人物、物體和場景。

  • 真實物理與人物模擬:支援碰撞、空氣動力學等物理效果,人物動作自然,還能根據環境即時反應。
  • 原生音訊與互動對話:環境音效、音樂和人物對話同步生成,虛擬角色能夠即時交流。
  • Gemini協同推理:Gemini負責規劃任務、觀察反饋、動態調整策略,還能在虛擬世界中模擬機器人執行任務。

當然了,光看能力介紹可能還不夠直觀。

咱直接把Genie 3和Genie 4拉出來遛遛,說實話,我是感覺差距還真挺明顯的。

下面這個對比Demo,左邊是Genie 3,右邊是Genie 4。

最直觀的感受,就是人物終於沒那麼「遊戲偽人」了,動作上也更符合物理規律。

在場景上,左邊還是個相對空曠的房間,右邊直接切進了佈滿燈光、裝置和工作人員的劇院後台。

從簡單室內到複雜多人場景,整個環境的資訊量一下子上來了,人物、空間和光影的呈現也更接近真實拍攝:

接下來,我們再看幾個更有意思的例子!

比如下面這個Demo,湖面上漂浮著一座小平台,一名男子正在上面演奏薩克斯。

使用者可以隨時用自然語言修改天氣、切換鏡頭,甚至往場景中加入新人物。

更有意思的是,Gemini還會根據當前環境調整後續變化,讓新加入的元素與原有場景儘可能保持連貫。

連薩克斯的演奏聲、風聲、水聲,也都能跟著場景即時生成,be like:

而在物理模擬上,Genie 4同樣有不少看頭。

人物從高處墜落,身體會隨著重力向下運動;西瓜受到撞擊後,則會瞬間破裂,果肉四散飛濺。

從人體運動、重力作用,到物體碰撞後的形變與破碎,Genie 4已經能夠模擬出相當逼真的物理反饋:

再來看「音訊生成」。

值得一提的是,Genie 4還是Google首個支援原生音訊生成的即時世界模型。

它能夠根據正在發生的場景,同步生成環境音效、音樂,甚至讓虛擬人物開口說話,根據使用者輸入和周圍事件即時接話。

比如直接化身騎士,以第一人稱視角騎著巨龍在群山間高速狂飆。

耳邊呼嘯的風聲、巨龍振翅聲,甚至遠處火山的轟鳴,都能跟著飛行過程即時生成,be like:

不過,看到這裡,其實還只是Genie 4在感官體驗上的升級。

值得一提的是,這次Genie 4還與Gemini深度結合,讓世界模型具備了更複雜的任務規劃和多步驟推理能力。

具體來說,Google把Gemini 3.8 Flash接入了Genie 4,讓它充當即時引導Agent——

Genie 4負責生成虛擬世界,Gemini負責理解目標、觀察環境,並決定下一步該做什麼。

隨著Genie 4即時生成畫面,Gemini還會持續觀察場景,檢查任務執行到了那一步、前面的操作有沒有成功~

咱看下面這個demo。

讓機器人在虛擬實驗室中完成精細操作,或在不斷變化的環境裡執行多步驟任務。

AI可以先在模擬環境中規劃行動、觀察結果、調整策略,再將經過驗證的方法用於現實世界,牛啊:

甚至呢,更高階的Gemini 4 Argon,也已經被咱老Google拉來參加實驗了。

官方展示了一個相當有意思的demo:讓「人形機器人下跳棋」。

這裡出場的是Apptronik的人形機器人Apollo。

實驗中,Gemini 4 Argon負責把下跳棋的任務拆解成多個步驟,再將指令交給Genie 4。

Genie 4則根據這些指令,即時模擬Apollo執行相應動作。

整個過程發生在AI生成的世界裡,無須讓真實機器人到場,真·自動化作業了:

Gemini 4 Flash也要來了!?

不過,Google這兩天的消息還沒完。

就在Genie 4發佈前後,Gemini 4 Flash竟然也有新動靜了。

有網友發現,Gemini 4 Flash疑似已經進入內部測試階段,連代號都被扒了出來——

Hydrogen,氫。

而且,Gemini 4 Flash甚至可能是用遠低於Gemini 4 Argon的成本,提供接近旗艦模型的性能。

我們要知道Gemini 4 Argon作為Google目前的旗艦模型,能力雖然很強,But——

推理成本和響應速度上,也讓不少高頻使用場景面臨取捨。。。

Flash系列主打的恰恰就是「速度」和「成本」。

甚至還有網友爆料稱,Gemini 4 Flash的生成速度可能接近每秒300 Token。

如果能把Argon等級的智能水平,塞進一個更快、更便宜的Flash模型裡,那確實有點看頭哈~

世界模型在手,Gemini 4 Flash我有。

雖遲又能怎麼樣,但到了不就得了。(量子位)