大語言模型用“預測下一個詞元”學習語言,視訊模型常用“預測下一幀”學習運動。World Labs 的新答案是:要讓 AI 真正理解三維世界,也許應該讓它不斷預測“下一個視角”。
只用三部架在三腳架上的 iPhone,拍下一顆草莓落入牛奶的瞬間。隨後,AI 凍結飛濺的液體,讓一台並不存在的攝影機繞場飛行,生成類似《駭客帝國》“子彈時間”的鏡頭。
傳統上,這類畫面需要攝影棚、綠幕、精密校準,以及環繞演員佈置的數百台相機。World Labs 團隊在訪談中稱,其新一代世界模型 Atlas,正在把同類任務需要的真實採集量壓縮到三台相機。
但如果只把 Atlas 看作一個更省相機、更會生成炫酷鏡頭的視訊模型,就低估了李飛飛及其團隊的真正野心。
在這場由 a16z 合夥人 Martin Casado 主持的對話中,World Labs 三位聯合創始人李飛飛、Justin Johnson 和 Ben Mildenhall 反覆強調:Atlas 的核心不是某一種三維輸出格式,也不是單純生成一段好看的視訊,而是一種更底層的能力——新視角預測(new view prediction)。
他們希望把它發展為空間智能的基礎原語:用同一個模型統一生成、重建、模擬與互動,並最終進入機器人訓練和行動規劃。
一、從“下一幀”轉向“下一個視角”
Atlas 被定義為新一代世界模型,擁有三類基礎能力:生成世界、重建世界和模擬世界。
使用者可以輸入一張圖像和一條相機運動軌跡,讓模型沿指定路線生成畫面;也可以輸入一張或多張現實圖像,重建對應的三維空間;還可以把重建結果用於視覺模擬與機器人訓練。
這些看似不同的任務,被團隊歸結為同一個問題:
給定已經看到的場景資訊,如果把相機移動到空間和時間中的另一個位置,那裡應該看到什麼?
這就是新視角預測。
大語言模型的訓練目標是根據上下文預測下一個詞元。許多視訊模型則根據前序畫面預測下一幀。兩者都沿著單一序列前進:詞元在文字中的位置改變,畫面在時間中的位置改變。
Atlas 增加了一個關鍵維度:攝影機可以在三維空間中移動。模型不僅要延續畫面,還要理解觀察者的位置、朝向,以及不同視角之間的幾何關係。
為此,Atlas 為輸入的每張圖像繫結三維相機位姿。多張圖像不再只是鬆散的視覺參考,而是組成一個帶坐標的“空間上下文”。使用者移動虛擬相機時,模型必須在這個上下文中生成符合相對位置的新畫面。
這也是它與普通文生視訊模型的根本差異。後者主要依靠文字描述控制內容,想得到同一房間的不同角度,往往要反覆抽取結果,桌椅和道具還可能悄悄改變位置。Atlas 試圖讓每個生成結果都落在同一個持續存在的空間裡。
二、第一次把“生成”和“重建”放進同一個模型
在傳統電腦視覺中,生成和重建長期是兩個相對獨立的方向。
生成模型擅長想像不存在的內容:輸入文字或圖像,創造新的像素。三維重建則強調忠實還原:通過多個相機視角進行匹配和三角測量,恢復真實場景的幾何結構。
兩者的目標甚至存在表面衝突。重建要求精準,不應該憑空增加內容;生成則必須具備想像能力,否則無法補足未被拍到的區域。
Atlas 的思路,是把這兩個過程統一到新視角預測中。
對於真實拍到的部分,模型需要遵守多視角之間的幾何關係;對於相機沒有覆蓋的縫隙,它又必鬚根據已知世界進行合理補全。正如 Ben Mildenhall 所說,即使讓三維重建領域的頂尖專家拿著單反相機,在一間房裡拍攝數百張照片,也不可能覆蓋麥克風下方、桌底、椅腿之間和每一片植物葉子的背面。
沒有出現在輸入畫面中的像素,在傳統重建中會變成孔洞。要讓世界完整,系統最終必須“想像”那裡應該有什麼。
李飛飛把 Atlas 的意義概括為:第一次在一個模型中統一“像素生成”和“像素重建”。Atlas 原生處理文字、圖像、視訊、相機位姿和深度圖;RGB 圖像描述一個位置看起來怎樣,深度圖描述它的空間結構,相機位姿則把所有觀察放進統一坐標系。
這讓生成不再只是畫面合成,也讓重建不再只是對已見像素的機械拼接。
三、從數百張照片降到三張,改變的不只是效率
傳統密集重建有一個樸素但嚴苛的前提:任何希望出現在三維模型中的部分,都要被多個視角真實拍到。
即使只掃描一間普通房間,也可能需要一百、兩百甚至三百張照片。專業人員要圍繞場景反覆走動,普通使用者第一次掃描多房間環境,可能耗費一兩個小時。
World Labs 希望把輸入量降低 50 至 100 倍。在部分案例中,原本需要數百張照片的場景,只用約三張或幾十張圖像就能完成重建。
訪談中提到一個史丹佛校園案例:輸入僅 3 至 25 張從地面拍攝的照片,Atlas 卻能生成從空中俯瞰校園主廣場的檢視。空中角度沒有被任何相機直接記錄,是模型依據已有幾何與視覺資訊推斷出來的。
團隊還把一個原本使用約 2000 張照片採集的多房間住宅,壓縮到 30 至 40 張輸入,生成的穿越效果據稱已非常接近原結果。
如果這類稀疏重建能夠穩定成立,價值並不只是節省拍攝時間。它會擴大“什麼東西可以被重建”的邊界:
過去隨手拍下、覆蓋不完整的視訊,可以重新變成三維素材;
歷史照片和網際網路圖像,可能被組織成可導航的空間;
普通手機採集也有機會替代昂貴、專業的掃描流程;
現實到模擬的速度,可以從項目級工程變成日常工作流。
換句話說,採集量下降一兩個數量級,不只是更便宜,而是讓大量此前不具備重建條件的資料重新獲得價值。
四、Atlas 為什麼不再以 Gaussian splat 為中心
Atlas 之前,World Labs 推出過世界模型和產品 Marble。Marble 可以接收文字、圖像與視訊,並輸出用 Gaussian splat(3D 高斯潑濺)表示的三維世界。
Gaussian splat 渲染效率高,適合移動裝置和 VR,也容易進入遊戲及模擬引擎。但固定的輸出表示也成為瓶頸:無論使用者最終想要圖片、視訊還是其他三維資料,模型都要先經過 Splat 世界。
實際使用中,很多創作者把一張圖輸入 Marble,生成三維場景,再從中擷取幾個新角度,隨後離開。團隊由此意識到:既然使用者最終需要的是新視角畫面,為什麼不直接生成這些畫面?
Atlas 因此把基礎能力從“生成 Gaussian splat 世界”上移到“預測新視角”。它可以直接生成 RGB 畫面、深度或三維資訊,需要時仍能建構 Gaussian splat,但不再讓所有任務受制於一種中間表示。
這項變化也帶來了更長的空間上下文。團隊把三維重建類比為“擁有超長上下文的生成”:輸入很少時,模型需要更多想像;輸入增多時,結果越來越接近忠實重建。生成和重建不是非此即彼,而是同一條連續譜的兩端。
五、創作者真正需要的不是更多隨機生成,而是一個持續存在的世界
當前生成式 AI 的典型體驗,是輸入一次提示、得到一個結果,再輸入一次、得到另一個結果。每次生成都像一個短暫存在的世界,彼此之間缺少穩定狀態。
但電影、廣告、建築和遊戲的真實生產流程不是這樣。創作者會搭建舞台、擺放道具、積累資產,並在同一個環境裡反覆調整。人物、物體和空間關係必須持續存在,才能接受下一輪修改。
Atlas 想解決的正是這種“狀態性”。一個房間生成之後,使用者應該能移動相機、替換物體、調整佈局、改變時間,並繼續在同一世界中工作,而不是每次從文字提示重新抽獎。
這也解釋了為什麼團隊把可編輯性視為產品化關鍵。
目前,單圖模型已經能理解多輪編輯意圖,視訊模型也在追趕;但世界模型的控制仍相當初級。未來的難點,不只是增加更多按鈕,而是在加入佈局、對象身份、互動和時間控制時,仍然維持前沿模型的畫面質量。否則,所謂空間控制只會停留在演示層面的“派對把戲”。
這套能力也不只服務內容創作者。建築設計、施工規劃乃至展會展位搭建,都要經歷從口頭反饋、草圖到三維模型的漫長轉換。會議可能只開一小時,三維修改卻要持續一周。世界模型如果能把自然語言、草圖和空間狀態直接連接起來,就可能重寫這些已有數十年歷史的工作流。
六、對機器人而言,Atlas 首先是一台“現實到模擬”的加速器
Atlas 更大的產業想像力,來自機器人。
李飛飛在訪談中直言:現階段機器人最大的瓶頸是資料,而不是晶片。網際網路擁有海量文字、圖片、視訊和程式碼,卻幾乎沒有足夠多的機器人在真實世界執行任務、遭遇意外並恢復的完整資料。
以工業接線為例,機械臂不僅要學會在一個固定場景中操作,還要面對電纜不同的彎曲方式、盒子不同的尺寸和顏色、不同的擺放位置,以及執行過程中的各種擾動。依靠真機窮舉這些變化,成本極高。
常見解決方案是“現實到模擬”(real-to-sim):先把真實工作環境重建到模擬器中,再進行大規模隨機化,訓練機器人策略,最後回到現實部署。
問題在於,重建本身就十分緩慢。World Labs 收購的機器人團隊過去也要進行密集採集和三維復原,這直接限制了模擬資料生產速度。Atlas 的稀疏重建能力,可以先把現實環境更快帶入模擬器,再生成大量變化場景。
但團隊的路線並不止於加速建模。
Justin Johnson 區分了兩類機器人模擬:一類是經典物理模擬,由工程師想像可能發生的情況,再用顯式規則和程式碼建模;另一類是資料驅動的神經模擬器,讓模型從資料中學習“世界會如何響應行動”,包括出乎預料的反應。
當世界模型既能預測行動結果,又能理解目標狀態時,模擬器本身就可能向規劃器演化:
如果模型知道“做出這個動作,世界會怎樣變化”,它也就有可能反向推理“為了讓世界變成目標狀態,應該採取什麼動作”。
這正是世界模型從內容生成工具進入具身智能核心棧的關鍵一步。
七、當前缺失的一塊:真正可控的動態世界
Atlas 目前仍不是完整的 4D 世界模型。
團隊承認,外界對這一版本最明確的批評是“動態還不夠”。機器人需要的不是凍結的三維場景,而是一個會隨行動變化、可以控制時間的世界。
與完全靜態的 Marble 不同,Atlas 的架構和預訓練資料已經包含初步動態能力。官方示例中可以看到水面波動和車輛移動,但此次發佈的後訓練仍主要聚焦靜態場景與空間視角移動,而不是時間演化。
有趣的是,動態資料並不只服務動態輸出。團隊發現,即使最終想要靜態重建,讓模型同時見過動態和靜態世界,也能幫助它識別並分離場景中的運動因素。未來的方向,是進一步強化時間建模,把空間控制擴展為時間控制,最終形成可進入、可漫遊、可互動的 4D 世界。
八、為什麼李飛飛認為“新視角預測”具有 AI 完備性
訪談最後,團隊提出了一個最具野心的判斷:新視角預測可能與下一個詞元預測一樣,具有某種“AI 完備性”。
所謂 AI 完備,可以理解為:表面上只是一個基礎預測任務,但如果要在最廣泛的場景中把它做好,模型最終不得不解決更一般的智能問題。
例如,一部推理小說最後寫道:“凶手是——”。要正確預測下一個詞元,模型不能只掌握語法,還必須理解人物、線索和整本小說。這也是為什麼簡單的下一詞元訓練目標,可能逼迫大語言模型學習越來越廣泛的世界知識。
新視角預測也有類似性質。
如果一部電影中真正的凶手即將從門後走出,模型要正確生成下一視角,就必須理解此前發生的事件;如果要求它生成某人在黑板上寫出數學證明的世界,它也必須理解證明內容,而不只是合成一塊看似合理的黑板。
李飛飛用進化給出了更直觀的解釋:自然給動物眼睛,卻沒有給樹木眼睛。因為動物會移動,而一旦移動,就會不斷看到新的視角。為了生存,動物必鬚根據有限觀察推斷周圍世界,在行動之後預測環境將如何變化。
空間智能因此不是靜止地“看見”或“解釋”世界,而是閉合一個循環:看見、體驗、行動,再看見。
九、從會生成畫面,到擁有可行動的世界模型
Atlas 現在展示得最充分的,仍是視覺生成和稀疏重建。它能否真正支撐機器人策略訓練,仍需要更多產品、基準和真實部署來證明。
團隊在訪談中給出的 3 張照片、50 至 100 倍採集壓縮、2000 張降到 30 至 40 張等數字,也主要來自官方案例與內部實驗,不能直接等同於對所有場景的普遍性能保證。
但 Atlas 提出的技術路線值得重視:它不再把三維世界視為某一種固定格式的輸出,而是把“從任意位置觀察同一個世界”變成基礎能力;再從這一能力向重建、生成、編輯、模擬和行動規劃延伸。
大語言模型證明了,一個看似簡單的預測目標,可能成為通向通用能力的入口。World Labs 正在下註:對於物理世界,那個入口不是下一幀,而是下一個視角。
如果這個判斷成立,Atlas 的意義就不只是一款更強的三維生成模型。
它可能是在為機器人、創作者以及所有需要運算元字世界的人,搭建一種新的空間計算底座。
完整實錄訪談實錄(整理版)
一、引言與開場
主持人:在通往空間智能的道路上,生成真正具有空間落地性、且上下文一致的像素,是最困難的一步。
團隊:那正是 Atlas 已經邁出的非常艱難的一步。
Justin:我們知道,大語言模型建立在“下一個詞元預測”之上,視訊模型往往建立在“下一幀預測”之上,而 Atlas 真正做的是“新視角預測”。
Ben:這才是人工智慧真正能為人們及其工作流程釋放巨大價值的地方。我們看到採集量可以減少約 50 到 100 倍。
主持人:第一部《駭客帝國》有一個著名鏡頭,尼奧向後倒下,攝影機彷彿環繞著他移動。傳統拍法需要數百台相機、綠幕和精密校準。
Justin:Atlas 只用三台相機就能完成類似效果,不需要攝影棚、綠幕或昂貴校準。每次把模型做得更大、訓練得更久,效果都會顯著提高。未來,我們還會走向能夠自由漫遊的 4D 視訊。
二、Atlas 是什麼:從下一幀到下一視角
主持人:你們剛剛發佈了一款受到廣泛關注的前沿模型。Justin,能否介紹一下發佈了什麼,以及它為什麼重要?
Justin Johnson:Atlas 是我們的下一代世界模型,具備三項基本能力:生成世界、重建世界和模擬世界。它擁有很強的相機條件生成能力。使用者可以輸入一張圖像和一條相機軌跡,讓模型沿任意視角生成視訊幀。它也擅長稀疏三維重建:輸入一張或多張、最多約一百幀現實世界圖像,就能重建現實空間,輸出既可以是穿越空間的視訊,也可以是顯式三維重建。最後,它還能用於模擬,包括網上引起關注的“子彈時間”視訊,以及機器人模擬。
所謂“子彈時間”,來自第一部《駭客帝國》中尼奧向後躲避子彈的經典鏡頭。傳統方法是在攝影棚裡用環形排列的數百台相機同時拍攝,再把畫面合成。Atlas 只需三部架在三腳架上的 iPhone,無需攝影棚、綠幕或昂貴校準。無論是投籃,還是草莓落入牛奶,三路手機視訊都可以讓系統重新安排鏡頭,在飛濺瞬間凍結時間並繞場景運動。
主持人:最簡單地說,Atlas 輸入什麼、輸出什麼?
Justin:最根本的能力是“新視角預測”。給定若干場景檢視,或一段場景描述,系統會把它們寫入我們所說的“空間上下文”,隱式描述正在討論的世界。隨後,使用者可以把一台虛擬相機放到空間和時間中的任意位置,Atlas 會理解從那個位置看過去,這個世界應該是什麼樣子。
大語言模型依靠下一個詞元預測,視訊模型常依靠下一幀預測,而 Atlas 依靠新視角預測。我們認為,這是一種過去基礎模型尚未真正建立起來的新原語。
Ben Mildenhall:Atlas 與普通視訊模型的重要區別,在於“空間上下文”。許多視訊模型只接收單一維度的輸入,或者做首尾幀插值;現在也出現了能引用二十、三十乃至五十張圖片的模型。但 Atlas 會給每一幀賦予明確的空間含義。每張輸入圖像都帶有對應的三維相機位姿,因此系統能夠高精度地完成重建。
假設房間四角各有一張照片,模型可以復現照片裡真實存在的物體及其空間關係,而不會隨意猜測另一角有什麼。它也能用於創作:把來自不同地點或不同 AI 生成結果的圖片,放到指定空間位置中,再按照精確設計的攝影機路徑生成穿越鏡頭。相比只靠文字提示、像老虎機一樣反覆抽取結果,這種控制方式更明確、更可靠。
三、統一生成與重建
Justin:Atlas 並不是簡單放大版的視訊模型。首先,它第一次嘗試在同一個模型中聯合完成生成和重建。過去,三維重建是電腦視覺中的一個獨立領域,有專門任務和專門模型;生成則是近幾年擴散模型和文生視訊模型擅長的事情。Atlas 把視覺智能的這兩個部分放進同一套架構中。
為此,Atlas 從一開始就是原生多模態的:它能夠處理文字、圖像和視訊,也把相機位姿作為原生輸入,並把三維資訊當作原生模態。團隊認為,以這種方式在預訓練階段直接引入相機位姿,此前還沒有人真正做過。
Justin:目前,Atlas 用深度圖來表達三維。一個畫面擁有三維空間中的相機位置和參數;在同一相機位置上,RGB 圖像描述這裡看起來是什麼樣,深度圖則描述這裡的三維空間結構。因此,文字、圖像、視訊、深度和三維相機資訊可以在一個模型裡聯合工作。
李飛飛:這一點極其重要,卻常被低估。這是第一次把“像素生成”和“像素重建”統一起來。電腦視覺已有半個多世紀的歷史,不知有多少博士論文研究重建或新視角合成。傳統學術會議裡,像素生成、識別和三維重建通常分屬不同方向。Atlas 以視角及其估計為錨點,用一個簡潔模型把重建與生成統一了起來,這非常強大。
主持人:你們創辦公司時就說要攻克空間智能。什麼是空間智能?Atlas 為什麼是重要一步?
李飛飛:空間智能最終必須使我們能夠生成空間、在空間中推理,並對空間進行編輯和互動。最終目標是加入時間維度的 4D,但即使只看 3D,這些也是空間智能必須支援的基礎任務。在此之上,我們才能渲染、模擬並規劃行動。前提是理解空間的幾何、結構與物理規律。
Atlas 是顯著進展,因為每一幀都能生成或估計一個重要資訊——視角,也就是相機位姿。這是理解空間幾何最關鍵的資訊,並會帶來許多下游湧現能力。過去大量模型已經能生成像素,但生成真正具有空間上下文和空間錨定的像素,是困難得多的一步。Atlas 正在邁出這一步。未來還要加入時間與動態,實現更高保真的模擬和更精細的空間描述。
四、從 Marble 到 Atlas
主持人:World Labs 已經成立約兩年半,也發佈過其他模型。為什麼不一開始就做 Atlas?
Justin:因為需要大量 GPU,也要逐級驗證規模化路線。去年我們發佈了 Marble 世界模型,它驅動著現有的 Marble 產品。Marble 能接收圖片、視訊或文字提示,生成三維世界,但它主要把 Gaussian splat(高斯潑濺)作為輸出表示。這種表示很有用,渲染效率高,能在移動裝置和 VR 裝置上運行,也能接入遊戲和模擬引擎;但它同時成為上一代模型的瓶頸。
Atlas 重新設計了這套體系。它不再把“生成一個好的 Gaussian splat 世界”當作基礎原語,而是把“新視角預測”作為基礎。它可以生成 RGB 畫面,也可以生成三維資訊;需要時仍能據此建構漂亮的 Gaussian splat 世界,但不再強迫所有輸出都經過這一單一表示。
Justin:找到正確的表示只是第一步,還必須逐級攀登規模化階梯。團隊先做小實驗和小模型,建立對那些方案有效、那些方案能夠擴展的信心。公司創立時,空間智能領域還沒有被驗證的規模定律;技術環境也和今天很不一樣。我們經過多輪迭代,才找到相信可以持續擴展的方案。
主持人:Ben,你是 NeRF 的發明者之一,職業生涯長期研究如何從圖像得到三維。多檢視為什麼能變成三維?
Ben:公司早期我們就反覆討論:究竟應該先合成多個檢視再建構三維,還是直接生成三維?當時業內對那條路線更有優勢並沒有答案。但過去幾年,密集重建通過一種近似“蠻力擴展”的方式展示了強大能力,這讓我對多檢視路線很有信心。
五、稀疏重建與空間上下文
Ben:所謂“密集重建”,意思是每個希望出現在重建結果中的部分,都必須在至少三四個視角中被拍到。即使只重建這間房,也要拍到麥克風下方、桌子底下、每一道縫隙以及植物葉片之間。完整覆蓋是一項極其繁瑣、近乎窮舉的工作。熟練人員可能花幾分鐘,但普通消費者第一次用手機掃描多房間環境,可能要走動一兩個小時。
一間房通常需要一百、兩百甚至三百張照片。我們希望把數量降到大約三張,也就是減少 50 到 100 倍。數量級一旦改變,可重建內容的邊界也會改變:既有照片、網上找到的素材以及過去隨手拍的視訊,都可能重新變成可重建的資料。我們把舊素材放進 Atlas,過去失敗的掃描第一次成功;有時即便扔掉原採集照片的 95%,仍能生成傳統 NeRF 或 Splat 方法得不到的新角度。
李飛飛:官網上的史丹佛校園示例容易被低估。Ben 只輸入了 3 到 25 張在地面拍攝的照片,卻能夠從空中視角重建整個史丹佛主廣場。空中畫面並非真實採集,而是模型在遵守重建規律的前提下生成的。
Ben:這正說明生成與重建必須在根本上結合。傳統重建需要從多個視角對同一點進行三角測量;任何沒有被輸入相機看到的像素,都會在三維結果中成為孔洞。要填上孔洞,模型必鬚根據已見內容進行想像,而這本質上是生成過程。即使讓世界頂尖專家拿著單反拍數百張照片,也不可能拍到麥克風、桌子和每條椅腿下面的所有位置。因此,模型既要對可見部分做幾何推斷,也必須擁有生成能力,補全不可避免的缺失區域。
Justin:大語言模型很早就認識到上下文長度的價值,從 128、256、512 一路擴展到百萬級上下文。人們現在直觀地知道,程式設計模型處理複雜任務時需要更長上下文。但圖像和視訊模型還沒有以同樣系統的方式推動上下文擴展。
可以把重建理解為“帶有超長上下文的生成”:輸入足夠多的觀測,重建與生成就形成一個連續譜。Marble 有一個根本限制,通常只能放入少量圖片;Atlas 則能接收 64 張圖片,生成整棟房子的穿越鏡頭。我們曾把一個需要 2000 張照片的多房間住宅掃描,壓縮到 30 到 40 張輸入,生成的穿越效果幾乎相同。這在過去難以想像,關鍵就是能平滑擴展的空間上下文窗口。
主持人:可以把它理解為:少量照片是實際採集的,Atlas 生成剩餘視角,再用經典方法重建,對嗎?
Justin:某種意義上是這樣。無論輸入多少,那怕只有一個檢視,Atlas 都可以作為渲染引擎,生成使用者想要的其他視角。你可以像操縱虛擬相機一樣,指定這裡、那裡和另一個位置要看到什麼;也可以連續生成密集穿越鏡頭。它是自回歸模型,使用者可以在生成過程中選擇不斷把那些結果加入上下文。
主持人:擴散模型通常視覺效果很好,卻未必精準。只有三四張圖片,模型如何補出中間畫面,並保證最後重建出的房間在三維上閉合一致?
團隊:一部分答案是對規模化假設的信念。我們從一開始就相信兩件事:規模定律,以及“下一視角預測”這個任務本身。真正困難的是具體架構選擇和訓練資料配比。
Justin:我們相信方向會有效,但沒想到第一輪新架構、新範式的大規模預訓練就能這麼快達到如此質量。原本以為可能還需要幾輪迭代。現在遠不是這套架構擴展的終點,而只是起點;繼續提升的主要瓶頸已經是訓練算力。
開發過程中,我們訓練了一系列不同規模的模型。每次模型變大、訓練時間變長、使用更多晶片,質量都會顯著提升。公開展示的版本是當時最大、最好的一個,但限制它的並不是資料或擴展規律,而是發佈日期:團隊必須倒推在截止時間前能負擔多大的訓練。
李飛飛:早夏的一天,團隊在一個比當前 Atlas 更小的模型裡輸入了 NeRF 論文中著名的花園桌場景。虛擬相機竟然從桌子下方飛過,連原場景裡的足球也正確呈現。那天早上,我們三個人彼此看了一眼,五秒鐘內就作出決定:就是它,我們要把它做出來。此前沒有人見過這樣的結果。
六、創作者與產業工作流
主持人:World Labs 過去有很多創作者使用者,他們用產品來保持二維畫面一致性,也用於電影、三維內容和遊戲。Atlas 會怎樣延伸這些用途?
Ben:有趣的是,Marble 使用者最常見的一種用法,恰好預示了新視角預測的價值。他們會輸入一張圖,先生成一個 Gaussian splat 三維場景,再從不同角度截幾張圖,然後離開。我們意識到:既然使用者最終只要這些圖片,為什麼不直接高品質地生成所需視角?還可以避免中間 Splat 表示帶來的畫質損失。
創作者很少依靠一個單體模型完成全部工作。他們先從不同圖像模型中收集故事板和情緒板,再用視訊工具把它們當作關鍵幀組合,最後剪輯。Marble 在這個多階段流程裡提供了一種空間錨定,讓生成結果屬於同一個三維一致世界。普通圖像模型生成同一房間的不同角度時,物體經常會悄悄移動;這暴露了持續、穩定的三維狀態有多重要。
Ben:幾十年來,電影、舞台、廣告拍攝和遊戲環境都依賴持久的三維狀態:人們會搭建舞台、佈置道具,逐步發展一個環境。真實創作不是每次生成一個東西就扔掉,只留下文字提示;人們希望積累資產,並在一個持續存在的世界中反覆修改。
Atlas 的空間上下文以及未來加入的其他輸入方式,目標就是提供這種精度與控制力。使用者不僅要調整相機姿態和圖像,還要控制場景中的元素、編輯內容並行生互動。這些能力也會拓展到現實空間的數字複製與預演,例如建築和施工。
很多現實物體在製造前都要經歷痛苦的虛擬設計階段,那怕只是搭建展會展位。設計總監或建築師用語言和草圖提出反饋,真正把反饋重新落實到三維模型裡,往往佔了 95% 的工作:開會只需一小時,修改可能要一周。今天的三維軟體已有幾十年歷史,卻始終不像玩樂高、做陶藝或用鉛筆畫草圖那樣直覺。無論創意、工業還是設計場景,這正是 AI 能釋放巨大價值的地方。
七、機器人模擬與行動規劃
主持人:創作者、設計和建築方面容易理解。World Labs 還收購了一家機器人公司,Atlas 與機器人有什麼關係?
李飛飛:Atlas 是關鍵拼圖。我們收購的團隊曾是一家獨立公司,它的核心技術是“現實到模擬,再從模擬回到現實”。例如要訓練機械臂在工業環境裡接線,首先需要大量資料來訓練機器人策略,再評估策略表現,最後部署到真實接線環境中。
過去,這支團隊要先對真實場景進行密集重建:拍大量照片,再復原環境。這個過程緩慢、繁瑣而痛苦,嚴重限制了機器人現實到模擬的速度。Atlas 可以成為下一代技術。更廣泛地看,當前機器人最大的瓶頸其實是資料;未來也許會變成晶片,但現在是資料。真實機器人運算元據非常難收集,而且僅僅採集接線、洗碗等單一場景還不夠。
訓練中還必須做“隨機化”:電纜不能永遠只向一個方向彎曲,盒子要有不同大小、顏色、蓋子和擺放位置。需要把現實場景帶入模擬,再生成足夠多的變化,結合網際網路等來源的資料訓練策略。Atlas 首先能顯著改善這一現實到模擬的環節。
李飛飛:這只是滿足當前機器人技術需求的第一步,因為我們還沒有足夠穩健的前沿機器人基礎模型。Atlas 是一個原生多模態的“全模態模型”,能接收多種輸入、生成多種輸出。下一步可以讓它吸收動態資料,把行動規劃、機器人控制和 Atlas 的世界輸出連接起來。
Justin:機器人策略與其他 AI 任務根本不同。程式碼、圖片和視訊都是模型生成的靜態產物,網際網路上也有大量對應樣本可供學習;機器人策略卻不是靜態作品,而是一個進入現實、採取行動並嘗試達成目標的智能體。現實不會總按預期回應,部署時會出現意外。因此訓練策略時,必須讓它經歷所有可能出錯的情形。
這就是模擬對機器人的關鍵價值。一條路線是經典模擬:使用物理引擎,由人類設計者想像任務中的各種情形,再寫顯式程式碼逐一模擬,編碼智能體也能強化這條路線。另一條路線是資料驅動模擬:訓練一個模型,讓它理解環境會如何響應行動,包括那些出乎意料的響應。這樣的神經模擬器可以成為訓練機器人策略的試驗場。
Justin:而且還不止於此。一旦學得的模擬器理解世界,也理解世界如何響應行動,為什麼模擬器本身不能成為規劃器?這正是我們對世界模型通用性的核心判斷:生成世界、模擬世界、理解世界在不同條件下如何呈現,以及預測世界怎樣響應某個行動,這幾件事高度相關。理解“行動會讓世界怎樣變化”,也就接近了反向推理“為了讓世界按目標變化,我該採取什麼行動”。
主持人:這次發佈的反饋幾乎一片好評,有專家甚至認為它是今年最重要的模型發佈之一,但也有人提出:Atlas 還需要更多動態。機器人需要一個會運動的世界。接下來會怎樣發展?
八、動態、可編輯性與 4D 世界
Justin:動態一定會出現,而且 Atlas 已經有了初步動態能力。上一代 Marble 從架構和訓練上都是根本靜態的,完全無法處理動態;Atlas 已經修正了這個問題。它的架構原生支援動態,訓練資料中也包含動態。仔細看我們發佈的示例,會發現水面在起伏,空中生成的城市畫面裡也有小汽車移動。
主持人:但從多個視角重建三維時,動態不是很麻煩嗎?
Justin:如果只做傳統三維重建,確實希望場景完全靜止、時間凍結。但純靜態資料很難大規模獲得。我們發現,即使最終目標是靜態輸出,最好也讓模型同時看大量動態和靜態資料,再由模型學會把動態因素分離出去。Atlas 的預訓練已經見過大量動態內容;這次發佈所做的後訓練更偏重靜態場景和空間移動,而不是時間變化,但預訓練檢查點裡已經蘊含不少動態能力。接下來我們會顯著加強它。
主持人:也就是說,未來會有可以走進去、四處觀看的 4D 視訊?
團隊沒有直接承諾,只是笑了起來。
主持人:即使只把當前能力做得更大、更快、更好,也足以形成一個橫向基礎能力乃至一個行業。除此之外,你們還期待什麼?
Ben:我最期待繼續推動多模態,尤其是更多控制方式。學術界低估了“控制條件”對模型的重要性。用普通人的話說,關鍵就是可編輯性。
單圖模型今年已開始支援多輪、直覺式編輯:使用者描述想要的人、物體和事件,模型就能把它們組合起來,不需要大量手工操作。視訊模型開始接近這一點,但世界模型還停留在非常初級的玩具示例,比如輸入一句話,場景裡突然出現一隻恐龍。
我們希望把它做到真正的工業級強度。困難在於增加控制能力的同時不能犧牲生成質量,否則只會變成派對把戲。創作者不會因為多幾個旋鈕,就放棄最先進的視訊模型而接受明顯更差的畫面。我們要在保持當前高品質輸出的同時,讓使用者控制場景佈局、物體身份、互動方式和時間。
九、新視角預測的 AI 完備性
Ben:控制維度越豐富,就越有機會重新設計人們與電腦中“有狀態的三維世界”互動的方式。最終目標,是把建構這類系統所需的能力全部集齊。
李飛飛:我更願意回到智能的第一性原理。空間智能不是坐著不動、只觀看或解釋物理空間,而是要閉合“看見—體驗—互動”的循環。繼續沿著這一級階梯向上,正是我們要做的事。
Justin:這裡有一個有趣概念叫“AI 完備性”,它類似計算理論中的圖靈完備或歸約思想:如果某個基礎 AI 任務能夠以最廣義、最通用的方式解決,那麼其他智能問題也可以歸約成這個任務。
大語言模型中的經典例子是“下一個詞元預測”。設想模型讀完整本推理小說,最後一句是“凶手是——”,要正確預測下一個詞元,它就必須理解全書情節。原則上,各類智能任務都可以用這種形式來表達。因此,人們認為下一個詞元預測具有某種 AI 完備性。
我們逐漸意識到,Atlas 的“生成式新視角預測”也可能具有相似性質。你可以給它整部電影,在凶手走出來的瞬間,讓它預測新畫面中究竟是誰出現;也可以要求它構造一個世界,讓某個人在黑板上寫出黎曼猜想的證明。要生成正確的新視角,模型最終必須理解世界中發生了什麼。
李飛飛:從進化角度看,新視角預測正是自然在讓動物學會移動時必須解決的問題。自然給了動物眼睛,卻沒有給樹木眼睛。為什麼?因為動物一旦移動,就會看到一個新的視角。這件事無論叫 AI 完備,還是智能完備,都是智能形成的核心。
因此,我們堅定地相信:對於空間智能,“預測下一個視角”就相當於語言智能中的“預測下一個詞元”。
主持人:太精彩了。祝賀你們發佈了出色的新模型,我們也非常期待未來的版本。感謝各位參加。
眾人:謝謝。 (AI工業)
