•
Transformer 不是終點，AI 需要新架構｜李飛飛最新訪談實錄
11月24日，史丹佛大學教授、 World Labs創始人、“AI 教母”李飛飛接受海外播客Eye on AI的訪談。本次對話深入探討了空間智能的定義、世界模型的技術路徑、顯式與隱式表示的路線之爭、AI 對物理定律的理解邊界以及李飛飛對未來五年技術演進的預測。
李飛飛指出，空間智能是電腦視覺發展的必然階段，技術已從單純的圖像識別進化為深度的空間感知與互動能力。她並未將自己置於 Yann LeCun 的對立面，而是提出通用的世界模型雖然內部依然依賴隱式表示進行推理，但為了服務於人類的創造與設計，必須具備生成顯式 3D 表達的能力。
李飛飛強調，目前的 AI 模型（包括視訊生成模型）本質上仍是基於統計學的模仿，並未真正理解牛頓力學等因果物理定律。她認為，簡單的“下一個 Token 預測”在視覺領域不足以捕捉世界的 3D 結構，簡單的 2D 幀預測會造成資訊的浪費。對於科學發現，她提出，當前的 AI 或許能推導 DNA 雙螺旋結構（基於幾何），但受限於 Transformer 架構對抽象概念的提取能力，很難推匯出狹義相對論這種高度抽象的物理法則。
01 空間智能與技術路線
為什麼你會將重心放在空間智能上，這是源於你在環境智能領域的研究，還是一條平行的探索路線？Yann LeCun 主張從直接經驗中建構內部表示，讓模型學習物理定律，而你的方法似乎側重於提取模型學到的世界內部表示並建構外部視覺現實。這兩者之間是互補還是重疊的？
李飛飛：過去幾年我對空間智能的思考，實際上是我整個職業生涯在電腦視覺和視覺智能領域研究的自然延續。之所以強調空間，是因為技術發展到了一個臨界點：它的複雜度和深層能力已不再侷限於注檢視像或簡單理解視訊，它已經演變成一種深度的感知能力和空間理解力，並與機器人技術、具身 AI 以及環境 AI 緊密相連。所以從這個角度看，這確實是我在電腦視覺和 AI 領域生涯的延續。
（關於與 Yann LeCun 的路線比較）首先我不會把自己和 Yann 對立起來，我認為我們在空間智能和世界建模的智力探索上處於同一個連續譜系。如果你讀過我最近發的長文《空間智能宣言》，我在裡面表達得很清楚：若最終要建構一個通用的全能世界模型，我認為隱式表示和最終某種程度的顯式表示，尤其是在輸出層可能都是必需的，它們各司其職。例如 World Labs 目前的世界模型 Marble 確實會顯式輸出 3D 表示，但在模型內部，隱式表示與顯式輸出共存。老實說我認為最終兩者缺一不可。
（關於輸入模態）在輸入模態方面，從視訊中學習固然重要，因為世界本身就是由無數幀連續輸入的。但對於智能體或動物來說，世界不僅是被動觀看的對象，更是一種包含運動、互動、觸覺、聲音、氣味以及物理力、溫度等在內的具身體驗，所以我認為它是深度多模態的。雖然 Marble 目前只是第一步，但在我們發佈的技術文章中明確表示，我們堅信多模態既是一種學習範式也是一種輸入範式。這方面有很多學術討論，恰恰體現了這個領域正處於令人興奮的早期階段，我不會說我們已經完全搞定了模型架構和表示形式的所有問題。
你似乎專注於從抽象的內部表示中生成顯式表示，而 Yann 更專注於內部表示和學習本身。這是否意味著這兩者可以結合？此外，在你們的世界模型中，輸入主要是視訊嗎？除了 Marble 這一產品，你們的野心是否在於建構一個系統，一個能夠通過直接經驗（視訊或其他模態）而非文字這種二手媒介進行學習的系統？
李飛飛：這是一種可能性。正如我之前所說，我們正在同時探索這兩者。顯式輸出實際上是一種經過深思熟慮的策略，因為我們要服務於那些正在創造、模擬和設計的人們。放眼當今產業界，無論是製作視覺特效、開發遊戲、設計室內裝潢，還是為機器人、自動駕駛汽車進行模擬，亦或是建構工業數字孿生，所有這些都具有極強的 3D 屬性。各行各業的工作流都高度依賴 3D，我們希望這些模型能對使用它們的人和企業產生真正的價值。
（關於模型輸入）輸入不完全是視訊。如果你體驗過 Marble 就會發現輸入非常多模態。可以輸入純文字，一張或多張圖像，也可以是視訊，甚至輸入粗略的 3D 佈局，比如包圍盒或體素。它是多模態的，隨著發展我們會進一步深化這一點。
（關於非文字學習）是的，世界模型的核心在於理解世界，而世界本質上是多模態的。無論是機器還是動物都是多感官生物，學習是通過感知發生的。感知有不同模態，文字只是其中一種形式。這就是人類與動物的區別，大多數動物不通過複雜的語言學習，但人類會。不過未來的 AI 世界模型雖然也會從大量語言輸入及其他模態中學習，但其認知過程不會僅僅被壓縮在語言這一種形式中。
02 單純的下一幀預測會將世界壓縮為 2D
LLM 的一個侷限性是模型參數在訓練後就固定了，理論上世界模型在遇到新環境時應該不斷學習，這僅僅是一個工程問題嗎？另外，你能深入解析作為 Marble 基礎的即時幀模型（RTFM）嗎？生成式 AI 的突破在於發現了“下一個 Token 預測”這一目標函數，但在電腦視覺或世界建模中，什麼樣的任務或目標函數能像它一樣強大？是 3D 重建，還是像 RTFM 這個名字暗示的那樣，在保持 3D 一致性的前提下預測下一幀？
李飛飛：關於持續學習，持續學習絕對是一個非常重要的範式，尤其是對生命體而言，這是我們的生存方式。甚至在持續學習中還分線上學習和離線學習。目前我們的世界模型仍更多處於批處理或離線學習模式，但我們絕對對持續學習，特別是最終實現線上學習持開放態度。我會保持開放態度，我認為這將是兩者的結合，顯然優秀的工程設計和微調可以實現一定程度的線上學習，但也可能需要全新的架構。
（關於 RTFM 模型）你指的是我們發佈的另一篇技術部落格，裡面專門深入解析了我們的即時幀模型。World Labs 是一個非常側重研究的組織，現階段很多工作都是模型優先，致力於推動空間智能的發展。這條特定的研究路線與 Marble 緊密相關，主要關注如何實現基於幀的生成，並儘可能保持幾何一致性和持久性。因為在早期基於幀的生成工作中，當畫面推進時往往會丟失這種物體存在的持久性。在這個具體案例中，我們試圖在保持平衡的同時實現推理階段的高算力效率，僅用單張 H100 就完成了推理。至於名字，這是一個非常精彩的雙關語，每個電腦科學家都懂這個梗，所以我們覺得拿這個名字玩個即興創作真的很有趣。
（關於通用目標函數）生成式 AI 最大的突破之一實際上是發現了下一個 Token 預測這一目標函數。這是一個非常精妙的公式，擁有一個與最終任務完全對齊的目標函數簡直太棒了。但在電腦視覺或世界建模中情況沒那麼簡單，因為如果看我們與語言的關係，主要是說或生成，但我們與世界的關係要多模態得多。外部有一個世界供你觀察、解釋、推理並最終與之互動，那麼什麼樣的任務或目標函數能定義一個通用函數，且像下一個 Token 預測一樣強大呢，這是一個非常深刻的問題。
（關於 3D 重建與幀預測）比如是 3D 重建嗎，有些人可能會爭辯說世界建模的通用任務就是能夠對世界進行 3D 重建，但我並不這麼認為，因為大多數動物的大腦並不一定在做精確的 3D 重建。或者是像預測下一個 Token 一樣預測下一幀，這確實有一定威力。首先這方面有海量的訓練資料，其次為了預測下一幀，模型必須學習世界的結構。如果你能把這一點做好，也許這就是正確的通用任務。但這也有讓人不滿意的地方，因為它把世界視為了 2D，而世界並非 2D。這種做法是否以一種令人遺憾的方式強行壓縮了表示，而且即使你完美做到了這一點，你可以說 3D 結構是隱式的。這沒錯但也非常浪費，因為 3D 結構本身包含很多資訊，不必像基於幀的預測那樣丟失掉，所以關於這一點目前還有很多探索空間。
03 AI 尚未掌握物理定律，目前的物理特性是基於視訊資料的統計學模仿
RTFM 模型能在保持 3D 一致性的前提下預測下一幀，這讓人即使在 2D 螢幕上也能像繞著物體移動一樣看到背面，這本質上就是空間智能。我想探討這種學習是否包含自然界的物理定律。例如，如果建立了一個懸崖的物理表示，當 AI Agent 或觀察者的視點移出懸崖邊緣，它會知道自己因重力而下墜嗎？或者它是否理解不能穿過固體物體？目前的模型對物理世界的理解到了什麼程度？
李飛飛：是的，這正是模型學習到的內部表示有趣的地方。比如我現在坐在這裡看著電腦螢幕，雖然我看不到螢幕背面但我知道它長什麼樣，我的腦海裡有那個物體的內部表示。你的模型也是這樣做的，這就是為什麼你可以在場景中繞著物體移動，即使這是在 2D 螢幕上呈現的 3D 表示，你依然可以移動並看到事物的另一面。所以模型擁有 3D 對象的內部表示，即使當前的視角看不到背面。
（關於物理定律與統計學特性）老實說你描述的情況既涉及物理也涉及語義。比如掉下懸崖當然取決於重力定律等物理法則，但能不能穿過一堵牆則更多基於材料和語義，是固體還是非固體。目前的 RTFM 模型還沒有專注於物理層面。目前大多數生成式 AI 模型表現出的物理特性其實都是統計學結果。你看那些生成視訊的模型，水在流樹在動，那並不是基於牛頓力學的力和質量計算出來的，而是基於看過足夠多水和樹葉這樣運動的視訊，就照著這個統計模式生成。所以我們要謹慎一點。目前 World Labs 仍然專注於生成和探索靜態世界。未來我們會探索動態世界，而在那裡很多依然將是統計學習。我認為目前的任何 AI，無論是語言 AI 還是像素 AI，都還沒有能力在抽象層面上推匯出像牛頓定律那種等級的物理規則。我們所看到的一切都是基於統計的物理和動力學學習。另一方面，我們可以把這些生成的世界放入物理引擎中，比如虛幻引擎，這些引擎內建了物理定律。最終這些物理引擎、遊戲引擎和世界生成模型將結合成神經引擎。我甚至不知道該叫什麼，也許該叫神經空間引擎之類的。我認為我們正在朝那個方向發展，但這仍處於早期階段。
04 空間智能需適應多種時間維度的持續學習
我之所以提到持續學習，是因為最終目標是建構一個能隨時間推移而學習的模型。或許它搭載在機器人上，或者連接到現實世界的攝影機，最終不僅能學習場景，還能通過互動理解空間的物理性。當你將其與語言結合時，就擁有了一個真正強大的智能。這是你在思考的方向嗎？鑑於你們進展迅速，對五年後這項技術的發展有什麼預感？屆時模型內部會內建某種物理引擎嗎，或者通過長期學習建立更豐富的內部表示？
李飛飛：毫無疑問，特別是當用例需要持續學習的時候。持續學習有很多種方式，比如在大語言模型中，將上下文字身納入考量就是一種持續學習，即利用上下文作為記憶來輔助推理。當然還有線上學習或微調等其他方法。所以持續學習這個術語可以涵蓋多種實現路徑。我認為在空間智能領域，特別是像你提到的那些用例，無論是定製場景下的機器人，還是具有特定風格的藝術家和創作者，這些需求最終都會推動技術在用例所需的時間範圍內變得更加敏捷。有些是即時的，有些從時間跨度來看可能更具分段性，視具體情況而定。
（關於五年預測）作為一名科學家，很難給出精確的時間預測，因為技術的某些部分發展得比我想像的快得多，而有些則慢得多。但我認為這是一個非常好的目標。五年其實是一個比較合理的估算，我不知道我們會不會更快，但這比預測 50 年要靠譜得多，當然也不會是五個月。
05 人類大量關鍵智能無法被語言記錄，空間智能旨在解鎖這部分“暗知識”
你能談談為什麼認為空間智能是下一個前沿領域嗎？包含在文字中的人類知識只是所有人類知識的一個子集，雖然它非常豐富，但不能指望一個 AI 模型僅僅通過文字就能理解世界。你能談談為什麼這一點很重要，以及 Marble 和 World Labs 如何與這個更大的目標相關聯嗎？
李飛飛：從根本上講，技術應該幫助人類。與此同時，理解智能本身的科學是我能想到的最迷人、最大膽、最雄心勃勃的科學探索，這是屬於 21 世紀的探索。無論你是被科學的好奇心所吸引，還是被利用技術造福人類的願景所驅動，這兩者都指向一個事實：我們的智能以及我們在工作中運用的智能，有很大一部分是超越語言的。我曾打趣地說，你不能用語言來滅火。在我的宣言中我舉了一些例子，無論是推導 DNA 雙螺旋結構時的空間推理，還是急救人員與同事在瞬息萬變的火場中滅火，這些活動很多都超越了語言。所以很明顯，無論是從用例的角度還是從科學探索的角度，我們都應該盡最大努力去解鎖如何開發空間智能技術，將我們帶向下一個層級。
（關於應用前景）這是一個 3 萬英呎高空的宏觀視角，描述了我如何被科學發現和為人類製造有用工具這兩個雙重目標所驅動。我們可以深入探討如何變得有用，就像之前提到的，無論是在談論創造力、模擬、設計、沉浸式體驗，還是教育、醫療保健或製造業，利用空間智能能做的事情太多了。實際上讓我非常興奮的是，許多關注教育、沉浸式學習和體驗的人告訴我，Marble 作為我們發佈的首個模型，正在啟發他們思考如何將其用於沉浸式體驗，使學習變得更加互動和有趣。這非常自然，因為牙牙學語前的兒童完全是通過沉浸式體驗來學習的。即使是今天的成年人，我們生活的大部分時間都沉浸在這個世界中，涉及說話、寫作和閱讀，但也涉及行動、互動和享受等等，這一切都是如此自然。
06 高效推理讓數字世界的“多重宇宙”成為可能，打破物理世界的邊界
讓大家都感到震驚的一點是，Marble 竟然只在一個 H100 GPU 上運行。我在其他談話中聽你提到體驗“多重宇宙”，大家本來都很興奮，直到意識到那通常需要巨大的算力和高昂的成本。你們降低計算負載的突破，是否意味著向為教育等領域創造“多重宇宙”邁出了實質性的一步？
李飛飛：不僅如此。首先我真的相信在推理方面我們會加速，效率會更高，而且體驗也會更好、規模更大、質量更高、時長更久，這是技術發展的趨勢。我也確實相信多重宇宙的體驗。據我們所知，人類的整個歷史體驗都侷限在一個世界裡，也就是物理上的這個地球。雖然有極少數人去過月球，但也僅此而已，這是唯一共享的 3D 空間。我們在其中建立文明，通過它生活，在其中做所有事情。但是隨著數字革命和數字爆炸，我們將生活的一部分轉移到了數字世界中，這中間也有很多交叉。我不想描繪一幅反烏托邦的畫面說我們已經拋棄了物理世界，也不會描繪一個完全誇張的烏托邦世界說每個人都戴著頭顯不再注視美麗的真實世界，那才是生活最充實的部分。我拒絕這兩種極端觀念。
（關於數字世界的無限性）但無論是從務實角度還是展望令人興奮的未來，數字世界都是無邊無際的。它是無限的，給予了我們物理世界無法提供的更多維度和體驗。例如我們已經談到了學習，我真希望能以一種更加互動和沉浸的方式學習化學。我記得大學化學課很大程度上與排列分子、理解分子結構的奇偶性和不對稱性有關，天那，我真希望我能以沉浸式的方式體驗那個過程。我遇到過很多創作者，意識到在他們的腦海中，每一個時刻都有無數種方式來講故事，腦子裡有太多東西，但他們的速度受限於工具的效率。如果你使用 Unreal Engine，要表達腦海中的一個世界可能需要數周甚至數小時的時間。無論你是要製作一部奇幻的音樂作品，還是為剛出生的孩子設計臥室，這樣的時刻數不勝數。如果我們允許人們像利用物理世界一樣，利用數字宇宙去實驗、迭代、交流和創造，那將會更加有趣。
07 AI 的理解力邊界：是語義操作而非人類意識
關於數字世界打破物理邊界，在你的模型明確投射這些空間之前，它對正在內化的空間究竟有多少“理解”？這也是我比產品化更關注的一點：致力於建構一個真正理解世界的 AI。這不僅僅是擁有 3D 空間的表示，而是真正理解物理定律、看到了什麼，甚至所見事物的價值或用途。你認為目前 AI 具備多少這種理解？為了讓模型真正理解世界還需要發生什麼？
李飛飛：這是個好問題。“理解”是一個非常深刻的詞。當 AI 理解某事時，它在本質上就與人類的理解不同。部分原因在於我們是非常不同的存在，人類在具身的軀體中擁有一定程度的意識和自我意識。例如當我們理解“我的朋友真的很高興”時，這不僅僅是一個抽象的理解，你體內實際上會發生化學反應，釋放快樂荷爾蒙或其他化學物質，心跳可能會加速，情緒會變化。所以這種水平的理解與一個抽象的 AI Agent 是非常不同的，後者具備正確分配意義並將意義相互關聯的能力。
（關於沙發變色的例子）例如在 Marble 我們的模型產品中，你可以進入一個高級的世界生成模式進行編輯。你可以預覽世界並說：“我不喜歡這個沙發是粉紅色的，把它改成藍色的”，然後它就改成了藍色。它是否在“藍色”、“沙發”和“改變”這個詞的層面上理解了？它理解，因為如果沒有那種理解它就無法執行修改。但它是否像你我那樣理解它，包括關於這個沙發的一切有用甚至無用的資訊？它有關於沙發的記憶嗎？它會將沙發的概念關聯到功能可供性以及許多其他事物上嗎？不，它沒有。作為一個模型，它侷限於允許你做模型需要做的任何必要事情，即建立一個帶有藍色沙發的空間。所以我認為 AI 確實有所理解，但不要把這種理解誤認為是擬人化的人類水平的理解。
08 為何 AI 難以此建構相對論
你在沙烏地阿拉伯與 Peter Diamandis 和 Eric Schmidt 的談話時討論了 AI 是否具有創造力或在科學研究中提供幫助的潛力。當時給出的類比是：如果在愛因斯坦提出相對論之前就有 AI，AI 能推理出那個發現嗎？直覺上似乎是可能的，那麼 AI 究竟缺乏什麼才能進行這種等級的科學推理？
李飛飛：我認為我們更接近於讓 AI 推匯出 DNA 雙螺旋結構，而不是讓 AI 建構狹義相對論。部分原因是我們已經在蛋白質摺疊方面看到了很多偉大的工作，也因為推導雙螺旋結構的表示更紮根於空間和幾何。而狹義相對論的建構是在抽象層面上，不僅僅是用無限數量的詞彙來表達的。我們在物理學中看到的一切，從牛頓定律到量子力學，都被抽象到一個因果層面，即世界的關係、概念，無論是質量還是力，都被抽象到一個不再是純粹統計模式生成的水平。語言可以是高度統計性的，3D 或 2D 世界以及動力學都可以是統計性的。但是力、質量和磁性等因果抽象不是純粹統計的，它是非常深刻的因果關係和抽象概念。所以我現在更多是在進行一種理論性的探討。我認為 Eric 和我在台上是在說，我們現在世界上有足夠多的天體資料、運動資料，只要聚合所有的衛星資料等等交給今天的 AI，它能推匯出牛頓運動定律嗎？
09 Transformer 不是終點，AI 需要新架構來實現超越統計學的抽象思維
對於天體運動的資料，憑直覺我認為，即使今天的 AI 做不到，但只要給予足夠的資料和思考時間，人工智慧應該能推匯出運動定律。你為什麼認為它做不到？這是否意味著你需要一種新的架構來解鎖你所說的“通用任務功能”，從而超越當前 Transformer 的侷限？
李飛飛：當我們說這些定律是“被推導”出來時，要明白牛頓必須抽象出力、質量、加速度以及基本常數等概念。這些概念處於非常抽象的層面。目前我還沒看到今天的 AI 能夠從海量資料中提取出這種層面的抽象表示、變數或關係。現有的證據還不多。當然，我並不瞭解 AI 領域發生的所有事情，如果事實證明我錯了，我很樂意接受。但我確實沒聽說過有那項工作做到了這種程度的抽象。而且在 Transformer 架構中，我也看不出這種抽象能力能從何而來。這就是我質疑這一點的理由。
（關於新架構）我並不是說 AI 不應該或不能嘗試，但這可能需要我們在演算法的基礎架構上取得更多進步。我確實這麼認為。我相信會有架構上的突破。我不認為 Transformer 是 AI 的終極發明。從宏觀角度看，相比於我們所知的整個宇宙歷史，人類存在的時間並不長。但在幾千年的短暫歷史中，我們從未停止創新。所以我認為 Transformer 不會是 AI 的最後一個演算法架構。
你曾說過，曾經覺得如果能讓 AI 系統給圖像打標籤或生成說明文字，就是職業生涯的巔峰了。當然，你早就超越了那個階段。如今，你想像中未來職業生涯的最高成就會是什麼？
李飛飛：我認為解鎖空間智能，創造一個能真正將感知與推理、空間推理連接起來的模型，實現從感知到行動，包括規劃，以及從想像到創造。如果有一個模型能同時做到這三點，那將是不可思議的。 (數字開物)