Google推出Genie 4，迄今為止最逼真且最具互動性的世界模型。
Genie 4 的最新功能：
🔵 照片級真實感：基於 Gemini Omni 建構，在空間和主題中呈現逼真的細節
🔵 高級物理效果：空氣動力學、碰撞以及自然移動的人物
🔵 即時控制：通過提示更改場景、加入元素，或與角色互動
🔵 原生音訊：環境音、音樂、背景噪音以及互動對話
🔵 Gemini 推理：規劃多步驟事件，以在場景演變時保持連貫性
這些功能是朝著開發安全虛擬環境邁出的一步，用於觀察Agent和機器人如何在周圍環境中導航。
目前普通使用者還用不到這個模型。
它現在只開放給少數測試人員，之後會陸續給Google AI Ultra的訂閱使用者，以及Gemini API和Google AI Studio的部分開發者使用。
以下是詳細資訊
Genie 4最大的變化是使用者可以用鍵盤在生成的畫面裡自由走動，還能隨時打字改動場景，裡面的NPC甚至能現場張嘴和你對話。
當你輸入一段話之後，螢幕上出現的是一個正在即時運轉的立體環境。
你可以按著鍵盤上的方向鍵，帶著鏡頭在場景裡四處轉悠。
如果覺得眼前的景物不夠滿意，直接敲一行字，比如把晴天換成陰天，或者在路邊加一個正在走動的人。
後台的模型會一邊保持原本的畫面不崩，一邊把你新加的東西融合進去。
聲音
Genie 4直接在生成畫面的同時，把聲音一起算了出來。
水流的聲音、風吹草地的聲音，包括樂器發出的聲音，都是伴隨著畫面一起出來的。
比如畫面裡有一個中年男人在湖中央的平台上吹薩克斯。
鏡頭可以繞著他轉，畫面裡能聽到水浪拍打的聲音，也能聽到男人吹奏的樂曲和換氣的聲音。
裡面的角色也不是單純的木偶。
他們能在場景裡走動，遇到障礙物會繞開，最關鍵的是能跟人交流。
你在輸入框裡對他們說話，他們可以在這個模擬環境裡張嘴回答你。
Gemini大模型在後台負責邏輯和糾錯
生成這種能互動的畫面，最大的麻煩在於邏輯容易亂套。
比如走著走著牆壁沒了，或者剛放下的杯子憑空消失了。
Google在Genie 4背後接入了Gemini大模型。
Gemini Omni負責畫面的真實度，讓光影、材質看起來像現實世界。
Gemini 3.8 Flash則像一個監工，在後台一幀一幀盯著畫面看。
它會把使用者的要求拆成幾個具體步驟，確認每一步有沒有做對，再決定下一秒怎麼演變。
如果你中途突然插手改了要求，它就會馬上重寫接下來的邏輯，防止畫面亂套。
Google還測試了另一個模型Gemini 4 Argon。
在展示的測試裡，Argon把下跳棋的任務一步步分解開，文字指令一條條傳給Genie 4。
最後螢幕上的Apollo人形機器人就真的在棋盤上，一步接著一步下完了跳棋。
還沒解決的問題
項目負責人Raia Hadsell、Diego Rivas和Hang Qi表示，以後的目標是做混合世界模型。
也就是把程式碼和語言模型的邏輯推導能力，和像素生成模型合在一起。
一個負責在幕後寫好規則和走向，一個負責在台前把畫面和聲音算出來。
不過Genie 4目前也有明顯的缺陷。
如果是短時間體驗，畫面還能維持穩定。
但如果執行階段間太長，或者你中途連續修改了太多次，場景裡的東西還是會出現錯位和變形。
此外，更複雜的物理對抗、清楚地渲染文字、以及超長時間的空間記憶，團隊還在繼續研究。
為了防止有人拿生成的畫面造假，Genie 4輸出的所有畫面和音訊，都加上了看不見的SynthID水印。 (AI寒武紀)