不意外,印象中非常吃算力的「遊戲世界模型」,居然就這樣被塞進一張RTX 5090里了?!
而且身上還掛著兩個非常誘人的標籤:
國產、開源。
就在剛剛,崑崙萬維旗下Skywork AI發佈Matrix-Game 4.0,據悉這是「全球首款可在單張消費級顯示卡上即時運行的遊戲世界模型」。
快速翻到Demo,坦白講480p的畫質確實還有提升空間,但再看幾秒:
誒,不對勁!!
以前常見的遊戲世界模型Demo,是玩家按一下方向鍵,模型接著往前生成畫面。世界能逛,場景會動,但底下究竟有沒有一套真正運行的遊戲,不太好說。
但Matrix-Game 4.0已經不太一樣了。
玩家中彈,先掉的是盾牌耐久;盾碎了,才開始扣血;等血量歸零,遊戲真就結束了。
好傢伙,原來不只是畫面在動,背後的遊戲邏輯也跟著跑起來了啊。
更離譜的是,這一整套沒躺在什麼豪華算力叢集裡。
就一張RTX 5090。
按下鍵,不到0.15秒畫面就有反應;一秒能跑60幀;整套系統佔用視訊記憶體峰值約18.5GiB。
玩法甚至還能改。
讓Coding Agent動動遊戲程式碼,原本的計時賽,轉眼就能變成攔截目標車輛的追擊戰。
一張卡,托起一局由AI即時畫出來、又按程式碼規則運行的遊戲。
怎麼做到的?
給視訊模型套上Harness
這一次,Matrix-Game 4.0沒走尋常路。
團隊給出的核心判斷是:
與其讓視訊模型隱式記憶世界,不如讓遊戲引擎顯式維護世界。
以GoogleGenie為代表的路線,率先讓玩家走進AI即時生成的世界,走到那裡,模型就把畫面生成到那裡。
但世界能逛,不等於遊戲能玩。
畫面偶爾多一棵樹、少一扇窗,頂多讓人出戲。可要是NPC的位置、玩家的血量、任務的輸贏也由模型臨場發揮,那還玩啥啊??
所以比畫面穿幫更麻煩的,其實是規則脫韁。
在團隊看來,現階段的視訊生成更像一種「符際翻譯」,負責把文字、動作和場景資訊轉成連續畫面。
「畫」這件事,視訊模型確實擅長。
可過去常見的路線,偏要讓它既記住整個世界,又算清遊戲規則,還得不停往下生成畫面。
好傢伙,一個模型直接身兼數職,短時間還能撐住,時間一長你懂的。。。
所以到了Matrix-Game 4.0,團隊乾脆把活兒拆開:
遊戲引擎負責把遊戲跑對,視訊模型負責把畫面畫好。
這麼一拆,世界狀態就不再藏在模型生成的像素裡,而改由程式碼明確記錄。
即使視覺生成偶爾出現偏差,也不會直接改寫玩家血量、道具歸屬和任務進度等。
團隊把這套思路概括為「給視訊模型套上Harness」:
1、玩家先用自然語言說出想法,Coding Agent負責把它寫成遊戲程式碼;
2、遊戲引擎當「裁判」,負責維護世界狀態、執行遊戲規則,並畫出一份不會亂的結構草圖;
3、視訊模型則當「畫師」,照著草圖即時生成最終畫面。
說白了就是,該確定的交給程式碼,該發揮的交給AI。
至於這套分工效果如何,直接看Demo。
最開始,引擎輸出的還是一片由方塊、骨架和簡單地形組成的結構畫面。
看著多少有點「毛坯房」的意思。
但人物在那、道具在那、誰在移動,已經交代得明明白白。
等視訊模型接手,城堡、草地、材質和光影被即時補齊,剛才還是3D草模,轉眼就成了完整的遊戲畫面。
畫得出來是一方面,底下的規則也真在跑。
就拿盾牌來說,玩家拾取後,引擎會把它正式寫進遊戲狀態。中彈時先扣盾牌耐久,盾牌失效後再扣角色血量;等血量歸零,遊戲結束。
視訊模型負責把過程畫出來,具體怎麼結算,全由程式碼說了算。
更有意思的是,這些規則還能繼續改。
想提高武器射速,直接用自然語言告訴Coding Agent。
底層程式碼一改,武器的實際攻擊邏輯也跟著變化。
一個對戰場景,剛好把整套方法跑了一遍:
Coding Agent負責改,引擎負責算,視訊模型負責畫。
AI生成的世界,也由「看起來像遊戲」,開始走向「真正按遊戲規則運行」。
一張RTX 5090,怎麼把遊戲跑起來?
思路捋順了,下一關才是真正的硬骨頭:
算力。
畢竟讓視訊模型即時畫遊戲,聽起來就不像一張消費級顯示卡能扛住的活兒。
幾乎同一時間,輝達研究團隊也發佈了StreamRender-H3,同樣採用「程式碼運行世界、視訊模型生成畫面」的路線。
但其官方展示的部署配置,是8張GB200 GPU。每個視訊塊採用兩步去噪,每個流式生成步驟的擴散渲染耗時為218ms。
這還只是擴散渲染階段。算上視訊塊收集、解碼和播放等環節,如果按照兩個視訊塊形成一次完整反饋來計算,端到端延遲約為545ms。
按這組資料粗略對照,Matrix-Game 4.0從按鍵到畫面顯示約需112ms,約為StreamRender-H3估算端到端延遲的五分之一;硬體配置則從8張GB200,降到了一張RTX 5090。
當然,兩者的解析度和延遲統計口徑並不完全一致,不能直接排座次。
但從工程實現來看,單張消費級顯示卡能夠跑到這個速度,已經足夠有衝擊力。
而這張卡,也不是突然就扛住了一切。
從Matrix-Game 1.0開始,團隊一直在給遊戲世界模型補課:
1.0先讓生成的世界聽懂玩家操作,2.0解決即時,3.0補上長時記憶,3.5繼續穩住空間和角色。
到了4.0,團隊開始直面另一道題:
這個即時生成、還能記住的世界,什麼時候才算一款遊戲?
答案前面已經揭曉了,那就是把規則交給程式碼和遊戲引擎。
但要讓規則和畫面在一張RTX 5090上同時跑,光是重新分工還不夠。
還得從工程角度給整條鏈路減負。
第一減:減少模型需要自己猜的東西
第一步,是把生成任務變簡單。
「憑空作畫」??NONONO,那有「照著草圖搞精裝」來得省力。
為了教會模型這項本事,團隊用UE5製作了一批成對資料:一邊是結構畫面,一邊是對應的精細畫面。
前者不管材質、光影這些花活兒,只保留場景結構、物體位置和運動軌跡,後者才是最終要生成的效果。
這麼練下來,遊戲引擎只要先把結構畫面跑出來,視訊模型就能照著補全材質、光影和環境細節。
但光有草圖還不夠。
同一個方塊,到底是盾牌、NPC還是路障,模型看不出來。
於是系統還會讀取引擎提供的可見對象和即時狀態,動態拼出Caption,告訴模型畫面裡有什麼、正在發生什麼。
結構畫面負責交代「在那」,動態Caption負責說明「是什麼、在幹什麼」。
好傢伙,圖紙和說明書都遞到手裡了。
這下,視訊模型只管照著畫。
第二減:減少模型需要自己記的東西
一張圖畫准了還不夠,遊戲得一直往下跑。
問題是,視訊越長,歷史畫面就越多。
每次生成都讓模型從頭翻記錄,不僅費勁,前面畫歪的一點還可能被一路帶下去。
不er,關鍵畫面直接遞到眼前不香嗎~
Matrix-Game 4.0基於Wan2.2 5B Fun Control改造出了V2V模型,每次生成除了參考當前的結構畫面,還會呼叫空間記憶參考圖、用於銜接的首幀,以及快取中的近期歷史資訊。
該在那、長啥樣、怎麼接,全提示到位,畫著畫著跑偏的機率自然也就降下來了。
第三減:減少模型需要計算的東西
最後一刀,直接砍向計算量本身。
擴散模型生成畫面,有點像從滿屏噪點裡反覆修改,改一遍不夠,再改幾遍,直到畫面成形。
遊戲可等不了這麼久。
團隊通過少步自回歸蒸餾,把這個過程壓縮到只改1步或2步,而且一次只生成四幀。
算得快還不夠,GPU等著CPU下指令、歷史資料來回搬運,同樣會拖慢速度。
於是CUDA Graph、FP8融合算子、KV環形快取和輕量編解碼器也全上了:
能少算一次就少算一次,能不搬的資料就別來回搬。
最終,文字編碼器、DiT和VAE全部常駐一張RTX 5090。
單步去噪時,視訊模型的穩態生成速度達到83 FPS,兩步去噪時約57 FPS。
實際遊戲以60 FPS運行,玩家按下按鍵後,不到0.15秒就能看到畫面響應。
講真,看到這裡,我覺得單卡60幀真正狠的,已經不是「60」這個數字了。
以前只能躺在算力叢集裡跑的遊戲世界模型,現在一張RTX 5090,就能直接搬上開發者的桌面。
更絕的是,硬體門檻剛砍下來,崑崙萬維轉頭又來了一記:
開源。
中國AI把開源捲到遊戲世界模型
「開源」這個動作,放在遊戲世界模型裡,份量比想像中更重。
每次看到世界模型發佈,我都會有種熟悉的感覺:
Demo確實炸。
雪山、城市、沙漠隨便生成,人物按下方向鍵就能往前走,視訊在社交平台刷得滿天飛。
然後呢?
然後就沒了。
模型權重拿不到,推理程式碼看不見,開發者更別說下載到本地,改個規則、換個場景試試。
簡單掃一眼行業就會發現,大多數玩家開放的是產品、API或者研究演示,真正把模型和程式碼交到開發者手裡的,還是少數。
所以Matrix-Game 4.0這波開源,主打一個用著不燒心(手動狗頭)。
劃重點,這還不是今天突然想「開」了,這家公司從Matrix-Game 1.0開始就一直走開源路線。
回頭看,這麼早就選擇把技術攤開,感覺一個很重要的原因是:
世界模型賽道越來越熱鬧,技術路線卻遠遠沒有收斂。
有人繼續押注視訊生成,有人主攻3D空間,還有人重新請迴游戲引擎。
看著都叫世界模型,底層解法其實已經越走越不一樣。
唯一逐漸清晰的是,光會生成視訊已經不夠看了,世界得能進去、能互動,最好還能長期運行起來。
至於這一步到底怎麼邁,各家還在瘋狂試錯。
也正因為沒有標準答案,開源才有了用武之地。
模型往開發者手裡一交,能不能復現、換個場景會不會翻車、還能整出什麼新玩法,直接上手roll一遍。
好不好使,社區自然會給答案。
而這套打法,咱其實熟得不能再熟了。
大語言模型開源,多模態繼續開源,現在以崑崙萬維為代表的中國開源力量,順著就捲到了遊戲世界模型。
好傢伙,一個新賽道剛熱起來,熟悉的配方已經端上桌了。
當然,Matrix-Game 4.0現在還只是個開始。
480p畫質確實談不上多精細,距離更穩定、更長時間、更多人同時玩的AI世界,也還有一段路。
但路都還沒定,答案當然也不能只讓幾家公司關起門來寫。
GoogleGenie之後,國產玩家這次給出的解法是:
程式碼負責讓世界守規矩,AI負責把世界畫出來。
一張RTX 5090就能跑,模型和程式碼也一起交了出來。
至於後面還能被開發者玩成什麼樣?
只能說:
Matrix-Game 4.0大舞台,喜歡您就來。 (量子位)

