推廣活動

李飛飛最新 AI 成果發佈,把世界模型裝進復古掌機,單張圖即時跑出 15 幀

RexAA
•
AI速讀
World Labs 發佈新 Demo 「Frameboy」,將其世界模型 Atlas 推向即時互動時代,僅需單圖即可即時跑出 15 幀的 3D 空間流轉,解決了以往渲染緩慢的痛點。此突破發生在 AMD 以 82 億美元收購 World Labs 之後,顯示出 AMD 欲將空間智能與物理 AI 整合進硬體底層的野心。透過李飛飛團隊的算法與 AMD 的晶片算力結合,目標是打造下一代生成式渲染器,並在機器人與空間計算領域正面對抗輝達。

點下生成按鈕,然後對著轉圈的進度條乾等好幾分鐘。過去玩 3D 世界模型或者視訊生成的朋友,估計都被那種漫長的渲染折磨得沒脾氣了。

就在今天,李飛飛創辦的 World Labs 發佈了一款名為 Frameboy 的研究預覽版 Demo,直接把自家的自回歸世界模型 Atlas 拉進了即時互動時代。

官方部落格🔗 https://www.worldlabs.ai/blog/atlas-realtime

只需要打開瀏覽器,雲端 GPU 就能以最高 15 fps 的影格率把畫面即時串流過來,讓你像打遊戲一樣自由操控鏡頭,在單張圖片生成的 3D 世界裡隨便溜躂。

那怕是不小心走錯了方向、試了個爛點子,試錯成本也幾乎歸零,滑鼠一劃就能換個角度繼續探索。

更有意思的是,此次更新也是今年 9 月底 AMD 宣佈斥資 82 億美元(約合人民幣 550 億元)全股票收購 World Labs 之後,李飛飛這支頂尖空間智能團隊交出的又一份技術答卷。

01. 把世界模型裝進復古掌機,單張圖即時跑出 15 幀

要把此次更新看明白,得先提一嘴兩個月前剛亮相的 Atlas。

作為一個自回歸世界模型,Atlas 當時最大的賣點是可以逐幀生成畫面,並支援像素級精度的相機視角控制,無論是拿一張圖腦補出虛擬 3D 世界,還是用幾張多視角照片還原真實地標、去建築工地看進度、給電影勘景都不在話下。

但問題也很現實,就是太慢了。

如果每次調整一下機位,都得等上幾十秒甚至好幾分鐘才能看到渲染結果,創作者在搭場景和規劃運鏡時就會變得束手束腳,每次按生成鍵都像在開盲盒。

為了緩解世界模型漫長的生成等待,團隊對 Atlas 進行了深度推理最佳化,並推出了搭載這一最佳化版模型的即時互動 Demo Frameboy,復古掌機式的設計也讓人很容易聯想到經典的 Game Boy。

現在,當畫面生成速度提升到最高每秒 15 幀,使用者已經明顯感覺不到點選生成那個割裂的動作了。

你只需要在瀏覽器裡推拉搖移相機,雲端就會源源不斷地把新視角的畫面即時推流到螢幕上。

拿官方放出的客廳對比演示來說,以前用慢速模型手動迭代,使用者得小心翼翼地在房間裡點四個關鍵幀機位,按下生成乾等視訊出來,發現角度不對再拖曳重試,來回折騰好幾輪。

而在 Frameboy 的即時模式下,你直接開著虛擬相機在房間裡轉圈就行,視野所及之處,畫面同步即時更新。

如果熟悉 World Labs 去年的研究預覽項目 RTFM,可能會覺得復古掌機形態有點眼熟。

不過相比當年那個輕量級的幀生成模型,如今的 Atlas 不光模型規模大得多、吞下的資料量高出好幾個數量級,能力邊界也完全不同了。

去年的 RTFM 主要只能在已有的幾個視角之間做插值過渡,而現在的 Atlas 那怕只喂給它一張靜態圖片或者一段文字描述,都能從零把整個周邊場景給腦補出來,放進 Frameboy 的空間上下文裡任你互動探索。

同時,它也完整保留並升級了多視角新檢視合成能力,輸入幾張真實世界名勝古蹟的多角度照片,就能在瀏覽器裡直接開啟一場賽博實景漫遊。

02. 上傳圖片,親手搭個 3D 遊樂場

光在官方預設好的幾個場景裡逛,顯然還不夠過癮。

為了讓大家能親手搭出自己的 3D 世界,World Labs 還把即時串流能力塞進了自家的網頁端應用 Viewfinder 裡,做成了即時渲染疊加模式,目前正處於封閉測試階段並已開放候補名單申請。

在 Viewfinder 裡,你可以拿自己上傳的圖片當起點,操控虛擬相機一步步往外走,一幀一幀地把整個 3D 空間搭建起來。

Atlas 每生成新的一幀,都會同步輸出色彩與深度資訊,幫你在視覺上對齊整個三維空間結構。

等場景主體搭得差不多了,直接一鍵喚起 Frameboy 疊加層,剛才還在逐幀建構的靜態工程,瞬間就能變成即時串流的 3D 遊樂場。

團隊對未來的定位非常清晰,就是想讓 Atlas 這樣的世界模型成為下一代生成式渲染器。

不過官方在部落格最後也沒有迴避目前的算力門檻。

現階段 Frameboy 必須運行在雲端的高性能 GPU 伺服器上,跟傳統的本地渲染比起來,成本絕對算不上便宜。

但回顧電腦圖形學的歷史,任何一項顛覆性技術在剛誕生時往往都是又慢又貴的,隨著底層硬體與軟體演算法的協同演進,今天昂貴的雲端實驗室玩具,遲早會變成白菜價的普及工具。

03. 550 億聯姻蘇姿丰,加速貼近底層硬體

恰恰是在軟硬協同降本提速這件事上,如今的 World Labs 可以說是找到了最合適的靠山。

就在一個多月前的 9 月 28 日,晶片巨頭 AMD 剛剛官宣了一項重磅收購協議,擬以 82 億美元的全股票交易將成立僅兩年的 World Labs 收入囊中。

預計在今年底完成交割的這筆交易,直接創下了 AMD 歷史上僅次於賽靈思的第二大收購紀錄。

算起來,這家總部位於舊金山、由李飛飛與 Justin Johnson、Ben Mildenhall、Christoph Lassner 聯合創辦的明星獨角獸,在前一輪融資時的估值還是 50 億美元。

根據收購安排,交易完成後李飛飛將正式出任 AMD 執行副總裁兼首席科學家,直接向蘇姿丰匯報;而原有的研發團隊將完整保留,繼續由 Justin Johnson 和 Ben Mildenhall 帶隊死磕空間模型與物理 AI。

當時外界還在討論,一家賣晶片的硬體大廠,為什麼要花 550 億人民幣去買一支研究 3D 世界模型的演算法團隊?

現在結合 Frameboy 對極致推理速度的渴求,兩邊的考量就再清晰不過了。

對蘇姿丰來說,大語言模型之後的下一個必爭之地,是涵蓋機器人模擬、空間理解與三維重建的物理 AI。

收下 World Labs,AMD 就能在第一時間摸清下一代世界模型的真實算力負載特徵,從而反向指導自家 GPU 架構、AI 晶片和 ROCm 軟體棧的路線規劃,在機器人與空間計算賽道跟輝達正面掰手腕。

而對李飛飛團隊來說,就像她在收購公告裡所言,下一代 AI 需要模型研究、系統與算力的緊密協同。

以前在雲端跑個即時世界模型還得心疼昂貴的 GPU 帳單,如今直接和自家晶片團隊一起貼身打磨硬體與底層算子,距離把即時生成式 3D 渲染真正塞進千家萬戶的終端裝置裡,顯然又近了一大步。 (APPSO)