推廣活動

李飛飛的世界模型上新:打開網頁,就能逛 AI 生成的世界

RexAA
•
AI速讀
World Labs 正式推出 Frameboy 網頁預覽版,將其世界模型 Atlas 轉化為可即時互動的 3D 探索體驗。使用者可控制相機在 AI 生成的場景中移動,實現從單圖到空間的動態擴展。儘管展示了高效的推理速度(約 15fps)與低延遲,但目前全面自定義場景的 Viewfinder 工具仍處於內測階段。分析指出,該技術雖在 3D 關卡構思與虛擬取景具有潛力,但仍面臨高昂的雲端算力成本及生產工具成熟度的挑戰。

World Labs 把 AI 生成的世界,裝進了一台網頁裡的“掌機”。

今天上線的 Frameboy,允許你控制相機,在場景裡即時移動。畫面由雲端 GPU 生成,再傳回瀏覽器,官方稱最高可到 15 幀每秒。

這個入口已經公開。不過,現在能直接逛的是官方挑好的場景。想拿自己的圖片搭世界,還得申請 Viewfinder 內測。

▲ 圖:網頁裡的掌機

01. 從一張圖開始,走到畫面之外

Frameboy 背後是 Atlas,World Labs 兩個月前介紹的世界模型。

這裡的“世界模型”,可以先理解成:給它一些畫面,再告訴它相機往那裡走,它生成那個位置應該看到的畫面。

官方展示了一組從單張圖片出發的場景。但這張圖並非直接變成一段可以隨便走的視訊。

Atlas 先生成一組額外視角,把場景補出來。這些視角進入 Frameboy 的空間上下文後,使用者才能控制相機,連續探索。

▲ 圖:單圖補出更多視角

這個過程裡,原圖沒拍到的地方,需要模型生成。走出原有畫面之後,看到的是模型對空間的補全,不能當成現實現場的證據。

02. 真實地點,也能換個角度看

另一組官方案例從真實地標的多視角照片出發。模型已經看過這個地方的不同方向,再生成移動相機所需的新視角。

這和單圖想像世界,輸入條件不同。前者有更多真實畫面約束,後者需要補出更多未知空間。

▲ 圖:多視角約束相機探索

World Labs 去年做過 RTFM。官方說,RTFM 主要在已有視角之間插值,Atlas 則能用單圖或文字等少量上下文生成新場景。

Frameboy 這次使用的是高度最佳化的 Atlas 變體。官方強調更快的推理,但沒有公佈具體 GPU 型號或最佳化細節。

03. 自己的世界,要從 Viewfinder 進去

Frameboy 的公開地址是:

https://frameboy.worldlabs.ai/

網頁用掌機外殼包住畫面,兩側有方向和視角控制。這個造型容易讓人想到遊戲裝置,官方這次發佈的產品形態是網頁研究預覽。

Viewfinder 承擔的是前面的搭建工作。使用者從自己的輸入出發,逐幀生成不同角度的場景;Atlas 同時生成顏色和深度,幫助查看空間。

▲ 圖:Viewfinder 場景編輯

場景搭好後,可以打開 Frameboy 疊加層,進入即時探索。編輯和漫遊連在一起,迭代方式也變了:相機走到那,就繼續看那裡。

不過,Viewfinder 仍是封閉測試。官方提供了候補入口,不能把公開的 Frameboy 演示理解成“所有人都能上傳圖片造世界”。

候補名單地址:https://worldlabs.ai/waitlist

04. 15 幀之外,還有幾個沒回答的問題

即時互動最直接的變化,是少了一次次等待生成的停頓。

官方用同一個客廳作對照:手動方式先擺相機關鍵點,生成後再修改、再等待;即時方式則直接移動相機,連續觀察。

▲ 圖:相機輸入與雲端回傳

“最高 15 幀每秒”給的是影格率上限。按下方向鍵後多久畫面才響應,是另一個問題。

World Labs 研究人員 Chongjie Ye 在 X 上補充:其測試中,模型響應約 70 毫秒,含網路的按鍵到螢幕延遲不到 200 毫秒。

這是團隊成員的自述,硬體、網路和測試樣本沒有交代,不能當作獨立測速,也不能保證每個使用者都能復現。

World Labs 還主動提到,Frameboy 必須運行在強力雲 GPU 伺服器上,相比本地渲染,成本並不便宜。

這段話說的是算力成本。官方沒有給出即時探索的使用者價目表,也沒有公佈這次演示的流解析度。

▲ 圖:公開體驗與自建權限

遊戲方面,官方舉的用途是構思 3D 關卡。鏡頭能在生成場景裡移動,不足以證明它已經具備碰撞、任務、角色行為和完整遊戲規則。

虛擬取景、建築查看、機器人環境,也都出現在官方的用途說明裡。這些方向值得繼續驗證,目前不能把演示直接算成可交付的生產工具。

Frameboy 已經把“看一段生成結果”推進到“自己控制相機探索”。接下來要看的,是離開參考視角、走得更遠、再回頭時,這個世界還能保留多少。 (AI范兒)