李飛飛發佈世界模型新成果!一張圖生成 3D 世界,現在就能玩

今天凌晨,史丹佛大學教授李飛飛的創業公司 World Labs 正式上線了空間智能最新研究成果:Marble。

上線了,但沒完全上線。

目前 Marble 是一個限量訪問的 Beta 測試版平台,使用者可以在官網地址(marble.worldlabs.ai)瀏覽和建立 3D 世界。

李飛飛在社交媒體上表示:

這是使用我們的 3D 世界生成模型建立的一個極其龐大的世界。這讓我驚嘆不已!

有網友迫不及待地問等待名單要排多久,「整個職業生涯都在創造虛擬世界」的專業人士也都覺得這是驚人的飛躍。

當網友追問能不能移植到 VR 裡搞互動,李飛飛則回應稱:「我們有 VR 按鈕,在世界查看器裡點『分享』就行。」

從技術角度看,World Labs 要實現的是:給 AI 一張照片,讓它「腦補」出整個場景的幾何結構——那些面是平的、那些是凸凹的、物體間的空間關係、深度、光照、材質、紋理等。

這包括估計場景中隱含的深度地圖和幾何邊界,然後生成一個可以隨時探索的 3D 世界。

關鍵是這個世界是永久持續的,不會變形,也不會出現不一致的情況。相比之前的技術成果,現在的生成世界更大、風格更多樣,三維幾何結構也更清晰。

更貼心的是,在 Marble 裡,創作者還可以將生成的世界匯出為 Gaussian splats,並應用在後續項目中。

World Labs 提供的開源渲染庫 Spark 可以無縫整合 Gaussian splats 到 Three.js 中,用於搭建基於網頁的 3D 體驗,並且能在桌上型電腦、筆記本、移動裝置和 VR 頭顯上高效運行。

有體驗過的博主 @ilumine_ai 表示:「目前它是利用 Gaussian Splatting(高斯濺射)生成 3D 世界的最佳工具。」看起來確實有兩把刷子。


官方部落格提供了多個可簡單體驗的演示場景,涵蓋室內外各種環境類型:

  • https://marble.worldlabs.ai/world/eaea4512-4a78-4468-b818-1097c0778c77
  • https://marble.worldlabs.ai/world/b0c462c8-7c42-43d3-af15-d396db3e8dee
  • https://marble.worldlabs.ai/world/9ab27151-dd7e-44bc-8f87-cc0bcf047362
  • https://marble.worldlabs.ai/world/1511befa-793e-4ade-b348-75e326cf773e
  • https://marble.worldlabs.ai/world/fced9f37-e904-41a5-aabb-bbf6c5f57a29

使用者可以直接在網頁端用 W、A、S、D 鍵進行移動,滑鼠拖曳調整視角,就像在玩第一人稱遊戲一樣自由探索這些 AI 生成的 3D 空間。

我試了幾個空間,從室內場景到戶外環境,立體感和細節還原度確實讓人印象深刻。特別是光影效果和材質質感,比想像中要真實不少。

不過,目前 Marble 距離真正的商業化應用可能還有段距離。

比如 Marble 目前專注於生成 3D 環境,還搞不定人物或動物,所以「自拍愛好者和萌寵主人」暫時要失望了。而且雖然能生成「房間大小」的世界,但要建構真正的大型遊戲場景,可能還需要更多技術突破。

但好歹已經邁出了第一步,這就值得肯定。

至少得益於模型在風格統一性和幾何一致性上的提升,現在使用者已經可以在這些大場景中暢快地導航、瀏覽,並體驗更多應用場景。

而這種視覺上的震撼,或許正是李飛飛想要證明的觀點。作為 AI 賽道的先行者,她早就對大語言模型的侷限性頗有微詞。

她曾經這樣吐槽:「自然界中並不存在語言。你走進大自然,不會看到天空中寫著文字……真正存在的是一個遵循物理規律的三維世界。語言完全是一種生成的訊號。」

或許在她看來,文字 AI 再厲害,也只是在「紙上談兵」,真正的 AI 應該能理解和創造三維空間。

按照李飛飛的說法,空間智能已經能讓我們「生成並重建無限的宇宙,用於創造、旅行、敘事,甚至社交」,甚至「讓我們能夠以多元宇宙的方式生活」。

某種程度上,Marble 裡的空間給我的感覺更像是一款遊戲,其出現的時機也正好趕上了「AI 遊戲」這個賽道的集體發力期。

馬斯克此前也在社交媒體上宣佈, xAI 將正式成立一個 AI 遊戲工作室,重申要讓遊戲再次偉大,而真正意義上的 AI 視訊遊戲預計將在明年出現。

而無論是 Runway 跨界搞的 AI 遊戲平台 Game Worlds,讓使用者建立非線性敘事遊戲,本質上把 AI 陪聊升級成了有目標導向的互動遊戲;還是李飛飛的 Marble,整個 AI 遊戲生態鏈似乎正在快速成型。

方向或許各有側重,但都指向同一個未來,讓普通人也能輕鬆建立複雜的虛擬世界和遊戲體驗。

我們這一代算是第一批「AI 原住民」了。

現在看來,AI 不只是用來做作業、聊天、修圖,很快就要開始用 AI 創造屬於自己的虛擬世界了。想體驗更多細節,趕緊去註冊排隊吧,說不定你就是下一個在虛擬世界裡「創業」的 AI 原住民。 (APPSO)