推廣活動

全球首款 !中國團隊把遊戲世界模型塞進一張5090,還開源了

北風窗
•
AI速讀
崑崙萬維 Skywork AI 發佈開源遊戲世界模型 Matrix-Game 4.0,實現單張 RTX 5090 顯卡即時運行。該模型創新地將「遊戲引擎」與「視訊模型」分工,由引擎負責邏輯裁判、AI負責畫面填充,克服了純生成模型規則易崩潰的缺點。透過結構畫面引導與蒸餾技術,達成 60 FPS 高幀率與低延遲響應。此舉不僅大幅降低了開發門檻,更透過開源模式挑戰 Google 與 NVIDIA 的技術路徑,推動 AI 遊戲生態的民主化。

不意外,印象中非常吃算力的「遊戲世界模型」,居然就這樣被塞進一張RTX 5090里了?!

而且身上還掛著兩個非常誘人的標籤:

國產、開源。

就在剛剛,崑崙萬維旗下Skywork AI發佈Matrix-Game 4.0,據悉這是「全球首款可在單張消費級顯示卡上即時運行的遊戲世界模型」。

快速翻到Demo,坦白講480p的畫質確實還有提升空間,但再看幾秒:

誒,不對勁!!

以前常見的遊戲世界模型Demo,是玩家按一下方向鍵,模型接著往前生成畫面。世界能逛,場景會動,但底下究竟有沒有一套真正運行的遊戲,不太好說。

但Matrix-Game 4.0已經不太一樣了。

玩家中彈,先掉的是盾牌耐久;盾碎了,才開始扣血;等血量歸零,遊戲真就結束了。

好傢伙,原來不只是畫面在動,背後的遊戲邏輯也跟著跑起來了啊。

更離譜的是,這一整套沒躺在什麼豪華算力叢集裡。

就一張RTX 5090。

按下鍵,不到0.15秒畫面就有反應;一秒能跑60幀;整套系統佔用視訊記憶體峰值約18.5GiB。

玩法甚至還能改。

讓Coding Agent動動遊戲程式碼,原本的計時賽,轉眼就能變成攔截目標車輛的追擊戰。

一張卡,托起一局由AI即時畫出來、又按程式碼規則運行的遊戲。

怎麼做到的?

給視訊模型套上Harness

這一次,Matrix-Game 4.0沒走尋常路。

團隊給出的核心判斷是:

與其讓視訊模型隱式記憶世界,不如讓遊戲引擎顯式維護世界。

以GoogleGenie為代表的路線,率先讓玩家走進AI即時生成的世界,走到那裡,模型就把畫面生成到那裡。

但世界能逛,不等於遊戲能玩。

畫面偶爾多一棵樹、少一扇窗,頂多讓人出戲。可要是NPC的位置、玩家的血量、任務的輸贏也由模型臨場發揮,那還玩啥啊??

所以比畫面穿幫更麻煩的,其實是規則脫韁。

在團隊看來,現階段的視訊生成更像一種「符際翻譯」,負責把文字、動作和場景資訊轉成連續畫面。

「畫」這件事,視訊模型確實擅長。

可過去常見的路線,偏要讓它既記住整個世界,又算清遊戲規則,還得不停往下生成畫面。

好傢伙,一個模型直接身兼數職,短時間還能撐住,時間一長你懂的。。。

△圖片由AI生成

所以到了Matrix-Game 4.0,團隊乾脆把活兒拆開:

遊戲引擎負責把遊戲跑對,視訊模型負責把畫面畫好。

這麼一拆,世界狀態就不再藏在模型生成的像素裡,而改由程式碼明確記錄。

即使視覺生成偶爾出現偏差,也不會直接改寫玩家血量、道具歸屬和任務進度等。

團隊把這套思路概括為「給視訊模型套上Harness」:

1、玩家先用自然語言說出想法,Coding Agent負責把它寫成遊戲程式碼;
2、遊戲引擎當「裁判」,負責維護世界狀態、執行遊戲規則,並畫出一份不會亂的結構草圖;
3、視訊模型則當「畫師」,照著草圖即時生成最終畫面。

說白了就是,該確定的交給程式碼,該發揮的交給AI。

至於這套分工效果如何,直接看Demo。

最開始,引擎輸出的還是一片由方塊、骨架和簡單地形組成的結構畫面。

看著多少有點「毛坯房」的意思。

但人物在那、道具在那、誰在移動,已經交代得明明白白。

等視訊模型接手,城堡、草地、材質和光影被即時補齊,剛才還是3D草模,轉眼就成了完整的遊戲畫面。

畫得出來是一方面,底下的規則也真在跑。

就拿盾牌來說,玩家拾取後,引擎會把它正式寫進遊戲狀態。中彈時先扣盾牌耐久,盾牌失效後再扣角色血量;等血量歸零,遊戲結束。

視訊模型負責把過程畫出來,具體怎麼結算,全由程式碼說了算。

更有意思的是,這些規則還能繼續改。

想提高武器射速,直接用自然語言告訴Coding Agent。

底層程式碼一改,武器的實際攻擊邏輯也跟著變化。

一個對戰場景,剛好把整套方法跑了一遍:

Coding Agent負責改,引擎負責算,視訊模型負責畫。

AI生成的世界,也由「看起來像遊戲」,開始走向「真正按遊戲規則運行」。

一張RTX 5090,怎麼把遊戲跑起來?

思路捋順了,下一關才是真正的硬骨頭:

算力。

畢竟讓視訊模型即時畫遊戲,聽起來就不像一張消費級顯示卡能扛住的活兒。

幾乎同一時間,輝達研究團隊也發佈了StreamRender-H3,同樣採用「程式碼運行世界、視訊模型生成畫面」的路線。

但其官方展示的部署配置,是8張GB200 GPU。每個視訊塊採用兩步去噪,每個流式生成步驟的擴散渲染耗時為218ms。

這還只是擴散渲染階段。算上視訊塊收集、解碼和播放等環節,如果按照兩個視訊塊形成一次完整反饋來計算,端到端延遲約為545ms。

按這組資料粗略對照,Matrix-Game 4.0從按鍵到畫面顯示約需112ms,約為StreamRender-H3估算端到端延遲的五分之一;硬體配置則從8張GB200,降到了一張RTX 5090。

當然,兩者的解析度和延遲統計口徑並不完全一致,不能直接排座次。

但從工程實現來看,單張消費級顯示卡能夠跑到這個速度,已經足夠有衝擊力。

而這張卡,也不是突然就扛住了一切。

從Matrix-Game 1.0開始,團隊一直在給遊戲世界模型補課:

1.0先讓生成的世界聽懂玩家操作,2.0解決即時,3.0補上長時記憶,3.5繼續穩住空間和角色。

△圖片由AI生成

到了4.0,團隊開始直面另一道題:

這個即時生成、還能記住的世界,什麼時候才算一款遊戲?

答案前面已經揭曉了,那就是把規則交給程式碼和遊戲引擎。

但要讓規則和畫面在一張RTX 5090上同時跑,光是重新分工還不夠。

還得從工程角度給整條鏈路減負。

第一減:減少模型需要自己猜的東西

第一步,是把生成任務變簡單。

「憑空作畫」??NONONO,那有「照著草圖搞精裝」來得省力。

為了教會模型這項本事,團隊用UE5製作了一批成對資料:一邊是結構畫面,一邊是對應的精細畫面。

前者不管材質、光影這些花活兒,只保留場景結構、物體位置和運動軌跡,後者才是最終要生成的效果。

這麼練下來,遊戲引擎只要先把結構畫面跑出來,視訊模型就能照著補全材質、光影和環境細節。

但光有草圖還不夠。

同一個方塊,到底是盾牌、NPC還是路障,模型看不出來。

於是系統還會讀取引擎提供的可見對象和即時狀態,動態拼出Caption,告訴模型畫面裡有什麼、正在發生什麼。

結構畫面負責交代「在那」,動態Caption負責說明「是什麼、在幹什麼」。

好傢伙,圖紙和說明書都遞到手裡了。

這下,視訊模型只管照著畫。

第二減:減少模型需要自己記的東西

一張圖畫准了還不夠,遊戲得一直往下跑。

問題是,視訊越長,歷史畫面就越多。

每次生成都讓模型從頭翻記錄,不僅費勁,前面畫歪的一點還可能被一路帶下去。

不er,關鍵畫面直接遞到眼前不香嗎~

Matrix-Game 4.0基於Wan2.2 5B Fun Control改造出了V2V模型,每次生成除了參考當前的結構畫面,還會呼叫空間記憶參考圖、用於銜接的首幀,以及快取中的近期歷史資訊。

該在那、長啥樣、怎麼接,全提示到位,畫著畫著跑偏的機率自然也就降下來了。

第三減:減少模型需要計算的東西

最後一刀,直接砍向計算量本身。

擴散模型生成畫面,有點像從滿屏噪點裡反覆修改,改一遍不夠,再改幾遍,直到畫面成形。

遊戲可等不了這麼久。

團隊通過少步自回歸蒸餾,把這個過程壓縮到只改1步或2步,而且一次只生成四幀。

算得快還不夠,GPU等著CPU下指令、歷史資料來回搬運,同樣會拖慢速度。

於是CUDA Graph、FP8融合算子、KV環形快取和輕量編解碼器也全上了:

能少算一次就少算一次,能不搬的資料就別來回搬。

最終,文字編碼器、DiT和VAE全部常駐一張RTX 5090。

單步去噪時,視訊模型的穩態生成速度達到83 FPS,兩步去噪時約57 FPS。

實際遊戲以60 FPS運行,玩家按下按鍵後,不到0.15秒就能看到畫面響應。

講真,看到這裡,我覺得單卡60幀真正狠的,已經不是「60」這個數字了。

以前只能躺在算力叢集裡跑的遊戲世界模型,現在一張RTX 5090,就能直接搬上開發者的桌面。

更絕的是,硬體門檻剛砍下來,崑崙萬維轉頭又來了一記:

開源。

中國AI把開源捲到遊戲世界模型

「開源」這個動作,放在遊戲世界模型裡,份量比想像中更重。

每次看到世界模型發佈,我都會有種熟悉的感覺:

Demo確實炸。

雪山、城市、沙漠隨便生成,人物按下方向鍵就能往前走,視訊在社交平台刷得滿天飛。

然後呢?

然後就沒了。

模型權重拿不到,推理程式碼看不見,開發者更別說下載到本地,改個規則、換個場景試試。

簡單掃一眼行業就會發現,大多數玩家開放的是產品、API或者研究演示,真正把模型和程式碼交到開發者手裡的,還是少數。

所以Matrix-Game 4.0這波開源,主打一個用著不燒心(手動狗頭)。

劃重點,這還不是今天突然想「開」了,這家公司從Matrix-Game 1.0開始就一直走開源路線。

回頭看,這麼早就選擇把技術攤開,感覺一個很重要的原因是:

世界模型賽道越來越熱鬧,技術路線卻遠遠沒有收斂。

△圖片由AI生成

有人繼續押注視訊生成,有人主攻3D空間,還有人重新請迴游戲引擎。

看著都叫世界模型,底層解法其實已經越走越不一樣。

唯一逐漸清晰的是,光會生成視訊已經不夠看了,世界得能進去、能互動,最好還能長期運行起來。

至於這一步到底怎麼邁,各家還在瘋狂試錯。

也正因為沒有標準答案,開源才有了用武之地。

模型往開發者手裡一交,能不能復現、換個場景會不會翻車、還能整出什麼新玩法,直接上手roll一遍。

好不好使,社區自然會給答案。

而這套打法,咱其實熟得不能再熟了。

大語言模型開源,多模態繼續開源,現在以崑崙萬維為代表的中國開源力量,順著就捲到了遊戲世界模型。

好傢伙,一個新賽道剛熱起來,熟悉的配方已經端上桌了。

當然,Matrix-Game 4.0現在還只是個開始。

480p畫質確實談不上多精細,距離更穩定、更長時間、更多人同時玩的AI世界,也還有一段路。

但路都還沒定,答案當然也不能只讓幾家公司關起門來寫。

GoogleGenie之後,國產玩家這次給出的解法是:

程式碼負責讓世界守規矩,AI負責把世界畫出來。

一張RTX 5090就能跑,模型和程式碼也一起交了出來。

至於後面還能被開發者玩成什麼樣?

只能說:

Matrix-Game 4.0大舞台,喜歡您就來。 (量子位)