3月21日，Meta首席AI科學家楊立昆在美國2025 年聯合數學會議上就 AI 的發展現狀與未來方向發表了演講。他深入分析了當前 AI 技術，特別是自回歸大語言模型存在的根本侷限，如“幻覺”問題和無法真正理解物理世界。楊立昆表示，如果想實現達到人類水平的 AI，別只盯著 LLM，當前大語言模型最終都會被淘汰。他表示，AI 需要像嬰兒一樣通過觀察和互動來學習世界模型，為了學習世界模型，我們應該放棄（像素級預測的）生成式 AI，並重點介紹了他所推動的基於能量的模型（EBMs）和聯合嵌入預測架構（JEPA）等新思路，以及與之相關的規劃和推理能力的重要性。以下是本次演講實錄經數字開物團隊編譯整理剛聽 Bryna 列舉了過往 Gibbs 講座的各位傑出演講者，我確實深感壓力。我不敢相信自己能夠與那些大師比肩。不過，還是讓我來談談 AI。如今人人都在談論 AI，特別是實現達到人類水平 AI 的難點。在 AI 的研發生態中，許多人開始認為，我們或許有機會在未來十年左右，建構出一種最終有望達到人類智能水平的機器架構。至於這具體需要多長時間，各種預測眾說紛紜，差異巨大。最樂觀的人認為我們已經實現了。有些正在大舉融資的人聲稱明年就能實現，但我個人並不如此認為。但我確實認為我們大有希望。接下來，我想和大家探討一下，我所認為的 AI 研究方向、面臨的挑戰，以及其中一些確實存在的數學難題。我們為何需要建構具備人類水平智能的 AI 系統？因為在不久的將來，我們每個人都將與 AI 助手互動，讓它們來協助我們的日常生活。我們將能通過各種智能裝置 (包括智能眼鏡等) ，借助語音以及其他多種方式與這些助手溝通。我們將擁有內建攝影機和螢幕的智能眼鏡。目前市面上已有不帶螢幕的智能眼鏡，但帶螢幕的版本也即將問世。實際上，這種技術現已存在，只是成本過高，尚未能商業化。這是我們在 Meta 的同事們展示的 Orion 項目。所以，未來正在到來。設想：我們每個人的一生，都將與 AI 助手緊密相伴、持續互動。我們每個人都會像大公司的 CEO 或重要官員一樣，身邊隨時有一支由聰明的虛擬助手組成的團隊待命，為我們服務。這是一種可能出現的未來景象。但問題在於，我們尚不知曉如何實現這一切。坦率地說，當前機器學習 的水平，確實不盡如人意。與人類或動物相比，機器的學習效率非常低。要達到某個特定的性能水平，它們需要經歷的樣本數量或試錯次數極為龐大。過去，機器學習的主要範式是監督學習。監督學習的過程是：給系統一個輸入，等待其產生一個輸出，然後告知系統正確的、預期的輸出是什麼。如果系統產生的輸出與期望不同，它便會調整內部參數，以使下一次的輸出更接近正確答案。這本質上只是在學習一個輸入輸出的對應關係。強化學習則不直接告知系統正確答案，它僅是告知系統其產生的答案是好是壞。這種方法的主要問題在於，系統需要反覆嘗試並接收關於“好壞”或“是否有改進”的反饋，因此其效率甚至低於監督學習。強化學習目前主要僅適用於遊戲或者那些可以在電腦上快速模擬的場景。在過去幾年裡，有一項技術給 AI 領域帶來了革命性的變化，那就是自監督學習 。它的效果驚人地好，確實給 AI 帶來了翻天覆地的變化。然而，它的侷限性也非常明顯。自監督學習是當前大語言模型、聊天機器人以及類似技術的基礎。稍後我會向大家解釋其工作原理。動物和人類學習新任務的速度非常快。它們能理解世界的運作方式，能夠進行推理和規劃，並擁有常識。它們的行為是由目標驅動的，而不僅僅是預測文字序列中的下一個詞。那麼，這些聊天機器人和 LLMs 是如何工作的呢？自回歸大語言模型的訓練目標是預測序列中的下一個詞，或者更準確地說，是預測一個離散符號序列中的下一個符號，例如詞語、DNA 序列、音符、蛋白質序列等。其具體做法是，取一段符號序列，將其輸入一個大型神經網路。這種網路的架構設計旨在讓系統在其輸出端重現其輸入——這被稱為自動編碼器 。使用者輸入一個序列，並要求系統在輸出端複製這個序列。然而，該架構的特點在於：系統在生成某個特定符號時，只能參考該符號之前的符號序列，無法看到需要預測的符號本身。因此，訓練的實質是讓模型根據先前的符號預測下一個符號。這個訓練過程可以在長序列上平行執行。通過測量輸入序列與系統生成序列之間的某種散度進行量化差異，再利用基於梯度的最佳化方法，調整預測器函數 (一個可能包含數百億乃至數千億參數的巨型神經網路) 內部的所有參數，以最小化該散度值。這是一個維度非常高的問題。系統訓練完成後，當輸入一個序列時，它便會預測下一個符號。假設此處的上下文窗口(即系統回溯參考的先前符號數量) ，其大小為 3。實際上，對於當前的 LLM，該窗口長度可達數十萬符號。但我們假設是 3。向系統輸入 3 個詞，它會生成下一個詞。當然，系統無法精確預測下一個詞具體是那一個，因此它實際輸出的是一個覆蓋其詞彙表中所有可能詞語 (或 Tokens) 的機率分佈。通常在 LLMs 中，訓練模型生成的是 Tokens，即子詞單元，而非完整的詞。可能的 Token 種類數量通常在 10 萬左右。在使用這個訓練好的系統時，使用者首先輸入一段文字序列，稱為提示。系統預測出下一個 Token 後，將其追加到輸入序列的末尾。隨後，系統基於更新後的序列預測再下一個 Token，並再次追加，如此循環往復。這就是自回歸預測，一個在訊號處理和統計學領域非常古老的概念。如果將這些神經網路建構得極其龐大，使用非常長的輸入窗口，並利用包含數兆乃至數十兆 Token 的海量資料集進行訓練，其效果便會格外顯著。這些系統似乎能夠學習到語言或其他符號序列內部大量深層次的結構。然而，自回歸預測存在一個根本性的問題 (在座的數學家或許能更嚴謹地將其形式化表述) 。自回歸預測本質上是一個發散的過程。想像符號是離散的。每生成一個符號，便存在多種選擇 (可能多達 10 萬種) 。可以將所有可能的 Token 序列集合想像成一棵巨樹，其分支因子達到 10 萬。在這棵龐大的樹中，僅有一棵極小的子樹對應著所有“正確”的答案或合理的續寫。例如，若初始提示是一個問題，那麼後續生成的包含答案的文字序列便都位於這棵小子樹之內。但問題在於，這棵代表正確性的子樹，在由所有可能序列構成的巨樹中，僅佔極其微小的一部分。問題由此產生：若假設 (儘管此假設並不成立) 每生成一個符號便有固定的錯誤機率 ‘E’，且各步錯誤相互獨立，那麼一個長度為 N 的序列保持完全正確的機率即為 (1-E)^N。即使錯誤率 E 非常小，但隨著序列長度 N 的增加，該正確機率也會呈指數級衰減並趨近於零。這個問題是自回歸預測框架所固有的，在當前框架內無法解決。我的預測是：自回歸 LLMs 註定要被淘汰。幾年後，理性的人們可能將不再使用它們。這也就是為何經常出現 LLM 產生幻覺的現象；它們有時會生成不合邏輯或與事實不符的內容，其根本原因便在於這種自回歸預測機制。問題在於，應當採用何種機制來替代它？以及它是否存在其他侷限性？我認為，我們目前仍缺乏一些根本性的要素——即一種建構 AI 系統的全新理念。僅僅依靠在更大的資料集上訓練更大的語言模型，永遠無法實現達到人類水平的 AI。這絕無可能。稍後我會闡述另一個原因。且不說達到人類的水平，即便要模擬數學家或科學家的能力也相去甚遠，我們目前甚至無法復現貓所具備的能力。貓對於物理世界擁有驚人的理解力 (我用貓舉例，換成老鼠也同樣適用) 。我們目前尚不清楚如何讓 AI 系統獲得如同貓一般的物理世界理解能力。家貓能夠規劃非常複雜的行動序列。它們擁有關於世界的因果模型 (Causal Models) ，能夠理解自身行為所產生的後果。而人類的能力則更為出色。一個 10 歲的孩子便能收拾餐桌並將碗碟放入洗碗機，即便先前從未專門學習過此項任務。讓這個孩子去執行，他很可能在首次嘗試時就能正確完成。這與零樣本學習相關。這是因為這個孩子已經具備了相當完善的世界心智模型 (Mental Model) ，理解物體在被操控時的反應方式以及事物應有的狀態。一個 17 歲的青少年，大約通過 20 小時的練習便能掌握駕駛技能。然而，儘管自動駕駛公司積累了海量的訓練資料 (可能多達數十萬小時的人類駕駛錄影) ，但時至今日，我們仍未實現完全自動駕駛，即 L5 等級的車輛。我們已有能夠通過律師資格考試、解決數學問題乃至證明定理的 AI 系統。但是，承諾的 L5 級自動駕駛汽車在那裡？我的家用機器人又在何處？我們仍舊無法建構出能有效與真實物理世界互動的系統。事實證明，物理世界遠比語言複雜得多。這恰好印證了莫拉維克悖論 (Moravec's Paradox) ：那些對人類而言頗具挑戰的任務 (例如計算積分、求解微分方程、進行象棋或圍棋對弈、規劃城市路徑等) ，電腦反而極為擅長。它們在棋類對弈等任務上的表現遠超人類，使我們望塵莫及。這意味著什麼？當人們將人類智能譽為“通用智能”時，這完全是一種誤解。我們人類並不具備所謂的通用智能；我們是高度專業化的。僅靠文字訓練，我們無法實現達到人類水平的 AI。這裡有一個有趣的計算值得關注。一個典型的現代大語言模型大約是在20 兆個 Token 上進行訓練的。每個 Token 大約相當於 3 字節，因此總量接近 60 TB。我們將其近似看作100 TB 。我們任何一個人都需要花費數十萬年，才能讀完這如海量般的文字，而這幾乎囊括了網際網路上所有公開可用的文字。這似乎是極其龐大的訓練資料量。現在，我們來考慮一個人類的孩子。一個四歲的孩子總共清醒的時間大約是 16,000 小時。我們大約有 200 萬根視神經纖維 (每隻眼睛 100 萬根) 連接到視覺皮層。每根視神經纖維大約每秒傳輸 1 字節的資料。計算表明，一個四歲的孩子在四年內僅通過視覺就處理了大約 100 TB的資料。物理世界蘊含的資訊，特別是來自視覺、觸覺和聽覺的感官輸入，其資訊量遠超人類有史以來產生的所有文字。如果我們不能讓 AI 系統通過觀察世界來學習其運作規律，我們將永遠無法實現達到人類水平的智能。感官輸入所能提供的資訊，遠比文字豐富得多。心理學家已經研究過嬰兒如何學習現實世界，在最初的幾個月裡，他們主要通過觀察來學習。在此期間，嬰兒除了活動自己的四肢外，並不能對世界產生顯著影響或與之進行有效互動。他們主要通過觀察，學習了大量關於這個世界的背景知識。這是一種 自我監督學習的形式，我相信，如果我們希望 AI 系統能達到動物乃至人類水平的智能，就必須復現這種學習方式。嬰兒會學習諸如 物體恆存性(即一個物體被另一個物體遮擋後依然存在的事實)、穩定性以及自然物體類別(即使不知道它們的名稱) 等概念。他們還會學習直覺物理學，包括重力、慣性和動量守恆等基本物理規律。嬰兒大約在九個月大的時候就能掌握這些。如果你給一個六個月大的嬰兒展示一個物體似乎漂浮在空中的場景，他們並不會感到特別驚訝。然而，一個 10 個月大的嬰兒看到同樣的場景則會睜大眼睛，顯得非常驚訝，因為那時他們已經懂得，沒有支撐的物體會下落。這種學習主要是在這個年齡段，通過觀察並結合一些互動完成的。要實現達到人類水平的 AI (Meta 稱之為 AMI，即高級機器智能，其發音 'ami' 在法語中意為 '朋友'；之所以這樣命名，是因為我們認為人類智能並非真正通用的)，我們需要這樣的系統：它們能夠通過觀察和感官輸入學習世界模型，也就是對世界運作方式的內部認知模型。這使得它們能夠學習直覺物理學和常識。我們還需要具備持久性記憶的系統，能夠規劃複雜行動序列的系統，能夠進行推理的系統，以及那些天生可控、設計安全的系統，而不僅僅是像當前 AI 系統那樣通過微調實現安全可控。在我看來，要建構這樣的系統，唯一的途徑就是徹底改變其執行推理的方式。當前 LLM 和其他神經網路改採用的推理方式，是將輸入訊號通過固定數量的網路層處理後生成輸出。LLM 就是這樣工作的；每生成一個 Token，都會消耗固定的計算量。讓 LLM 實現所謂‘更長時間思考’的技巧，其實是誘導它生成更多的 Token (這被稱為 思維鏈推理)。這在近期被譽為 AI 領域的一大進步。然而，這種每步計算量固定的方式，其侷限性非常大。對於一個規模合理的神經網路來說，訊號通過固定層數所能計算的函數類型是有限的。大多數複雜任務需要可變的計算步驟；它們無法總被簡化為固定的幾步。許多計算任務在本質上是序列或順序的，而非純粹的平行結構。處理複雜問題，往往需要投入比簡單問題更多的計算資源 (時間)。一種更優的推理方法，或許是“通過最佳化進行推理”。在這種方法中，你先獲得一個觀察結果，這個觀察結果可以先通過幾個初始神經網路層進行初步處理。然後，你擁有一個成本函數(它本身也可以是一個神經網路)，它會輸出一個標量值。這個成本函數用於衡量輸入與某個假設輸出之間的相容程度 (或不相容程度)。於是，推理問題就轉變為一個最佳化問題：給定輸入 'x'，去尋找能使該目標 (成本) 函數最小化的那個輸出 'y'。我將這種方法稱為 目標驅動的 AI，當然，這並非一個全新的概念。大多數機率推理系統(probabilistic inference systems) 正是運用最佳化來進行推理。在座的各位中，很多人都研究過最優控制；最優控制中的規劃，比如模型預測控制，它就是通過最佳化來生成控制輸出的。關於這一點，我稍後會再詳細說明。這個想法並不新鮮，但似乎已經被遺忘了。我相信我們必須重新回歸這種方法。我們需要建構基於最佳化推理架構的系統，其中，“輸出”被看作一個潛變數，需要依據輸入和目標函數 來進行最佳化確定。這在傳統 AI 中是很經典的思想：在可能的解空間中搜尋解決方案。這種思想非常傳統，只不過在近期的深度學習熱潮中有些被忽視了。這種方法能解決的任務類型，大致相當於心理學家所說的 “系統 2” 思維模式。在人類認知中，存在兩種產生行為的模式。系統1處理的是潛意識層面的任務，也就是那些無需深思即可執行的動作。而當你必須集中意識、深思熟慮來規劃一系列行動時，系統 2 就開始工作了。例如，當你在建造不熟悉的東西時，你會用到系統 2。當你在證明一個定理時，毫無疑問你也在使用系統2。若要形式化地表述這種‘通過最佳化進行推理’的過程，最佳方式是什麼呢？這正好對應了能量基模型(Energy-Based Models)的核心思想。一個 EBM 會計算一個稱為“能量”的標量值，它衡量的是輸入 X 與候選輸出 Y 之間的不匹配程度。它通過最小化這個能量值 (相對於 Y) 來進行推理。我們稱這個能量函數為 F(X, Y)。為何用 'F' 而非 'E' (Energy) 呢？因為 'F' 關聯到自由能，這可以追溯到吉布斯的研究工作。這就是推理的過程。通過標量能量函數來刻畫變數 X 和 Y 之間的依賴關係，這種方法比直接學習從 X 到 Y 的對應函數要通用得多。原因在於，對於給定的 X，可能存在多個與之相容的 Y 值。例如，在機器翻譯中，一個英文句子可能對應許多個有效的法語翻譯。所有這些好的翻譯都應該對應較低的能量值，表明輸入 (英文句) 和輸出 (法文譯文) 在翻譯任務上是相容的。但這並不意味著一定存在唯一的“正確”輸出。本質上，我這裡談論的是 隱式函數——也就是通過隱式函數，而非顯式函數，來表達變數間的依賴關係。這是一個非常簡單的概念，但令人意外的是，有些電腦科學家似乎對此難以理解。那麼，在一個能夠規劃行動的智能系統中，我們應如何運用這些能量基模型呢？下面這個示意框圖，展示了這類標量能量函數系統的內部結構。在此圖中：圓形表示變數 (觀測到的或潛在的)。一端扁平、另一端圓弧形的模組代表 確定性函數 (比如，產生單一輸出的神經網路)。矩形代表目標函數，它們是標量值函數，當其輸入組態符合期望或可接受時，函數值就低，反之則高。這裡可以有多種類型的目標函數。一種是衡量系統完成預期任務的程度。另一類則可能代表護欄，也就是一些約束條件，用於防止系統執行不期望的、危險的、自毀的或有害的行為 (例如，對附近人類造成傷害)。整個過程始於觀察世界狀態 (S_t)。該觀察結果首先被送入感知模組，由它生成當前狀態的一種內部表示。由於感知可能是不完整的，該表示可能會結合來自記憶模組的資訊，後者儲存著對世界未觀測部分的估計狀態。這些資訊組合起來，就構成了當前的狀態估計。這個狀態估計隨後被輸入到一個世界模型中。世界模型的作用，是預測在執行一個特定的行動序列 (A) 後，將會產生什麼樣的結果 (即未來的狀態表示)。行動序列在圖中由黃色變數框表示。世界模型會預測出一系列後續的狀態表示 (S_t+1, S_t+2...)。這些預測的狀態表示，隨後被輸入到目標函數中進行評估。假定所有這些模組 (感知、世界模型、成本模組) 都是可微的(例如，可以由神經網路實現)，那麼就可以將梯度從成本函數出發，經由世界模型，一路反向傳播到行動序列上。通過使用基於梯度的最佳化方法 (例如梯度下降)，就能找到一個可使總體成本 (目標函數值) 最小化的行動序列。這個過程，本質上就是在進行規劃。我們首先來描述一個系統如何通過最佳化來執行推理，也就是規劃。這需要一個“世界模型” ，用來預測行動會帶來什麼後果。在最優控制理論裡，這是一個非常經典的想法——你要控制一個系統，就得先有一個這個系統的模型。給這個模型輸入一系列行動（或者叫控制指令），它就能預測出結果。比如說，要把火箭送入空間站。我們得有一個火箭的動力學模型。我們可以先設想一系列控制指令，預測火箭的飛行軌跡，再用一個成本函數來衡量火箭離目標空間站有多遠。接著，通過最佳化，就能找到讓這個成本最小的那一套控制指令，引導火箭飛向目的地。這是一種非常經典的技術，叫做“模型預測控制” (MPC)。從上世紀 60 年代開始，MPC 在最優控制、機器人技術，甚至火箭軌道規劃這些領域，都有非常廣泛的應用。當然，真實世界並非完全是確定性的。我們用的世界模型，可能需要引入一些“潛在變數”，這些變數的值我們沒法直接看到。它們可能代表著一些未知因素，可能需要從某個機率分佈中抽取，這樣一來，模型就會給出多種可能的預測。所以，用這種包含了潛在變數來表示未知因素的世界模型，在不確定性下做規劃，肯定是非常理想的。不過，在通常情況下，這仍然是一個尚未解決的難題。我們最終想要實現的是“分層規劃”。人類和動物天生就會這麼做。但是，目前還沒有那個 AI 系統能真正學會如何有效地做分層規劃。我們可以手工定義好層次結構，讓系統去執行分層規劃，但沒有系統是真正自己學會這個能力的。舉個例子：假設我現在在紐約大學的辦公室，打算去巴黎。我不可能只靠規劃具體到毫秒級的肌肉怎麼動，這是最低層級的動作，來計畫好從辦公室到巴黎的整個行程，這做不到。第一，這個動作序列會特別特別長；第二，我缺少做這種規劃所必需的資訊（比如，我沒法預先知道路上那個紅綠燈是紅的還是綠的，這會影響到我計畫在那兒是停還是走）。不過，在比較高的抽象層面上，我的大腦可以做這樣的預測：要去巴黎，得先去機場坐飛機。好了，現在就有了一個子目標：去機場。那怎麼去機場呢？在紐約的話，我可以下樓到街上，招手叫輛計程車。那怎麼下到街上呢？我得從辦公桌前站起來，走到電梯那兒，按下按鈕，然後走出大樓。那怎麼去電梯那兒呢？我得從椅子上站起來，拿起包，打開辦公室的門，然後一邊躲著障礙物，一邊走到電梯口。你看，沿著這個層次往下，到了某個足夠具體的層級，詳細的行動規劃（比如剛才說的毫秒級肌肉控制）才變得可行，因為這時候，做動作需要的即時資訊都有了（比如，站起來、開門這些動作，就可以在當前這個局部環境下規劃）。所以說，怎麼學習世界模型、怎麼學習分層世界模型、怎麼學習世界的“抽象表示”，好讓系統能在不同的時間尺度上做預測，從而有效地規劃，關於這一系列的問題，目前還沒有人確切地知道該怎麼做，或者怎麼能讓它穩定可靠地運行起來。把這些部分拼在一起，我們大概就能得到一個 AMI，也就是人工智慧機器，它可能的“認知架構”是什麼樣的。這個架構裡，得有一個世界模型，還得有各種各樣的“目標函數”，一個“行動者”（它負責最佳化動作來降低成本），還得有“短期記憶”（有點像大腦裡的海馬體），最後還需要一個“感知模組”（類似大腦的視覺皮層）。大概兩年半以前，我寫過一篇長論文，大致講了我認為 AI 研究要在那個方向上使勁，才能取得進展。寫那篇論文的時候，“大語言模型”那股熱潮還沒起來，雖然那時候 LLM 已經有了。但我從來就不信，光靠 LLM 就能搞出達到人類水平的 AI。那我們怎麼才能讓 AI 系統通過看視訊之類的感官輸入，來學習關於這個世界的“心智模型” 呢？我們能不能像訓練 LLM 那樣，用“自回歸預測”的思路，去訓練一個“生成式架構”，讓它能預測視訊的下一幀畫面呢？答案是：不行，這招沒用。我本人在這上面花了 20 年功夫，結果是徹底失敗。它對視訊預測就是不管用。但它對預測離散的符號是管用的，因為預測下一個符號的時候，處理不確定性相對簡單直接：你只要輸出一個機率向量就行了（也就是一串加起來等於 1 的、0 到 1 之間的數字）。可視訊預測的難點在於，你要預測的是一個維度非常高、而且是連續的對象（也就是一幀圖像）。我們現在還不知道，怎麼才能在這樣高維度的連續空間裡，既有效又方便地表示“機率密度函數”。雖然我們可以用“能量函數”來間接表示它，然後再做歸一化（這有點像統計物理裡的做法，比如用玻爾茲曼分佈 (Boltzmann distribution)，就是那個 exp (-能量/kT)）。但是，對於高維空間裡複雜的能量函數來說，要算出那個歸一化常數（也叫“配分函數” (partition function)），通常在計算上是搞不定的。所以說，用標準的“生成式模型”（比如那種直接預測每個像素值的自回歸模型），想通過訓練它做視訊預測來學習世界模型，效果並不好。現在是有很多人在研究生成式視訊模型，但他們主要的目標，往往就是生成視訊本身，不一定是為了從中學習深刻的世界模型。如果你的目標只是生成視訊，那這個方法也許還行。但如果你想讓系統真正理解它背後的物理原理和因果關係，那這條路多半是走不通的。你想想，未來明明是不確定的，你非要讓系統給出一個唯一的、確定的預測，那結果往往就是預測出來的東西模模糊糊的，或者是各種可能性的一個平均，因為它沒辦法，只好試著把各種可能性都折中一下。針對這個問題，我提出的解決方案叫做 JEPA，它的全稱是“聯合嵌入預測架構” (Joint Embedding Predictive Architecture)。概念圖大概是這個樣子。可能你第一眼看上去，覺得它跟生成式架構沒啥區別。讓我來給你講清楚點。左邊這個是生成式架構：它在訓練的時候，要最小化的是“預測誤差”。你看，它觀察輸入 X，在訓練的時候也觀察目標 Y，然後就訓練這個系統怎麼根據 X 來預測 Y。這跟“監督學習”很像（或者說，如果 Y 本身就是 X 的一部分，那就跟“自監督學習”差不多，比如預測序列裡的下一個元素）。這套方法對預測離散的 Y 管用，但是對預測連續的、高維的 Y（比如圖像或者視訊）就不行了。右邊這個就是聯合嵌入預測架構 (JEPA)。你看，輸入 X 和目標 Y，都各自經過一個“編碼器網路”。這些編碼器會算出 X 和 Y 的“抽象表示”（也就是“嵌入”）。X 和 Y 的編碼器可以是不一樣的。然後呢，預測是在這個抽象的表示空間裡進行的（就是從 X 的表示來預測 Y 的表示）。這可能就是個更容易解決的問題了，因為你想啊，原始輸入 Y 裡面，很多細節資訊可能壓根兒就沒法預測。JEPA 架構的目標，就是要學到一種抽象表示，把那些不可預測的細節給過濾掉或者忽略掉。編碼器函數要學習的是“不變性”，目的是把 Y 裡面那些跟不可預測因素相關的變化，從表示空間裡給去掉。比方說，想像一個鏡頭在這個房間裡掃過。要是我停下鏡頭，讓系統預測下一幀畫面是啥，它可能能預測出大體的場景（比如座位上有人），但它絕對預測不了每個人的精確位置和長相，也預測不了地板、牆壁的精確紋理。這裡面有太多不可預測的細節了，因為需要的資訊根本就不在輸入畫面裡（也就是上下文中沒有）。JEPA 就是要學習一種能過濾掉這些不可預測細節的表示，把預測的精力集中在那些能預測的事情上，而不是在那些壓根兒預測不了的東西上白費力氣。當然，要有效地實現 JEPA，還有一些技術上的挑戰。但結論就是：如果我的說法是對的，那在學習世界模型這件事上，用 JEPA 這種架構要比用標準的生成式架構好得多。為了學習世界模型，我們也許真該放棄那種像素等級的生成式預測了。現在大家都在談論“生成式 AI”。而我的建議是，要想學習世界模型，咱們就得放棄（像素級預測性的）生成式 AI。這些架構也有不同的變種，有些可能還會用到潛在變數。不過，一個關鍵的挑戰是怎麼去訓練這些“基於能量的模型”或者 JEPA 系統。要想訓練這種系統學會變數之間的依賴關係，就得學習一個能量函數，讓這個函數給那些在訓練資料裡看到的、匹配的 (X, Y) 資料對打低分（低能量值），而給那些不匹配的、或者離正常資料分佈（也就是“資料流形”）很遠的資料點打高分（高能量值）。你可以想像一下，所有正常的 (X, Y) 資料點都分佈在某個高維空間裡的一個光滑的面上（這個面就叫流形）。我們希望能量函數在這個面上得分最低（比如是 0），然後離這個面越遠，得分就越高。問題是，就我所知，訓練這種系統主要有兩種辦法。如果這個能量函數特別能變形（就是參數特別多，能擬合出各種形狀），那它就可能會“崩潰”。如果你只讓能量函數在訓練資料點上得分低，其他啥也不管，那系統最後可能就學到一個最簡單的解：給所有點都打一樣的最低分，變成一個完全平的能量函數。這就是一個沒用的“平凡解”。這就叫“崩潰”。那怎麼防止崩潰呢？主要有兩種方法。第一種是“對比方法”(Contrastive methods)。你得另外生成一些“反例”樣本（圖中那些閃爍的綠點），這些點不在正常的資料流形上。然後你明確地告訴模型，要給這些反例打高分，同時給那些正常的樣本打低分。你通過設計一個“損失函數”來達到這個目的。但對比方法的毛病在於，到了高維空間它就不太好使了，因為要想把能量函數的樣子（也就是“能量地貌”）給塑造好，你需要特別特別多的反例樣本，這個數量會隨著維度增加呈指數爆炸式增長。第二種是“正則化方法” (Regularized methods)。這種方法是在損失函數里加一個“正則化項” (regularizer term)。你通過最小化這個正則化項，來間接地限制那些被打低分的輸入空間的“體積”，不讓它變得太大。這聽起來可能有點玄乎，但在應用數學裡有類似的想法，比如“稀疏編碼” (sparse coding)。當你讓一個潛在變數變得稀疏的時候（比如加個“L1 懲罰項”，你其實就是在減小那些能讓“重建能量”很低的潛在空間的體積。所以，基本上就是這兩條路：對比方法和正則化方法。不同的架構，發生崩潰的傾向性也不一樣。既然這是吉布斯講座 (Gibbs lecture)，我必須再提一下Gibbs的名字。怎麼把能量函數正兒八經地變成機率分佈呢？就是用“吉布斯-玻爾茲曼分佈” (Gibbs-Boltzmann distribution)。你算一個 exp(-β * F(X,Y))，β 是個常數，類似“逆溫度”，F(X,Y) 就是能量函數。然後你把這個式子在 Y 的所有可能取值上做個積分，用這個積分結果去除它本身，進行歸一化。這樣，你就得到了一個規規矩矩歸一化了的條件機率分佈 P(Y|X)。如果你非要搞“機率建模”，那你訓練“能量基礎模型”的辦法，就是在訓練資料上最小化那個“負對數似然函數” (negative log-likelihood, -log P(Y|X))。但問題又來了，那個歸一化常數 Z(X)，通常算起來太難了，計算上搞不定。所以你就得用近似的方法，比如“變分方法” (variational methods) 或者“蒙特卡洛方法” (Monte Carlo methods)。機器學習領域有很多人在這方面下了大功夫，也從物理、統計這些學科裡借鑑了不少想法。我畫了個表，把各種經典的方法分成了正則化和對比這兩類。這些方法（包括對比和正則化的）用自監督學習的方式來預訓練視覺系統，學習圖像表示，已經非常成功了。這些想法的核心，最早可以追溯到 90 年代初，包括我 1993 年的一篇論文，還有 2000 年代中期我和學生們一起做的一些研究。最近這些年，有很多論文，包括 Google 發的那些，都在研究這些方法，尤其是對比方法。你們可能聽說過 OpenAI 的 CLIP 模型，它就是用文字做監督，通過對比學習來學視覺特徵的。但還是要再說一遍，對比方法隨著潛在空間維度增加，它的擴展性不一定好。我個人更喜歡正則化方法。問題是怎麼讓它們有效地跑起來。一個關鍵的目標是防止模型崩潰。那在這種情況下，崩潰到底是什麼樣子呢？崩潰，指的就是模型只去最小化那個潛在空間裡的預測誤差（比如說，預測的表示 S_Y_tilde 和目標的表示 S_Y 之間的距離 D），而且 只幹這件事。那系統就可以耍小聰明了，它完全不管輸入 X 和 Y 是啥，直接輸出兩個固定的、不變的表示 S_X 和 S_Y，這樣誤差自然就是零了。但這樣得到的模型，就是個崩潰了的、一點用都沒有的模型。要防止這種情況，一個辦法（它也算是一種正則化項）就是，在最小化預測誤差的同時，還要想辦法最大化編碼器輸出的表示 S_X 和 S_Y 本身包含的“資訊量”。比如，你找個辦法估計一下資訊量 I(S_X) 和 I(S_Y)，在它們前面加個負號（表示要最大化它們），然後把這兩項加到總的、需要最小化的目標函數里去。但是，直接去最大化資訊量是很難的。雖然我們有些跟資訊量上界有關的技術（比如最小化“互資訊” (mutual information)），但在這種場景下，我們通常沒有有效的、方便計算的下限來幫我們最大化資訊量。所以，實際操作中，我們是設計一些“代理”目標，通過最佳化這些代理目標，來間接鼓勵模型產生資訊量更高的表示（這可能基於一些假設或近似），並期望實際的資訊量也跟著提高。而且這招效果還挺不錯的，雖然它的理論依據還在完善中，但可能比其他方法要好。我們具體在用的一種方法叫做VicReg ，全稱是“方差-不變性-協方差正則化” (Variance-Invariance-Covariance Regularization)。它的想法裡包含一個成本項，要求在處理一批樣本時，表示 S_X 的每個維度的方差都要保持在某個閾值以上（比如大於 1，可以用“hinge 損失”來實現）。還有一個成本項，要求這批樣本表示算出來的“協方差矩陣”，它的非對角線上的元素都要趨近於零（比如，先把資料“中心化”，然後算 S_X 轉置乘以 S_X）。這樣做的目的是消除表示向量各個維度之間的相關性，最理想的情況是讓不同的特徵維度（也就是表示矩陣的列）之間近似“正交”。其他研究者也提出了類似的想法，包括伯克利的馬毅（Yi Ma）教授，還有我在紐約大學的一些同事（他們搞了個叫 MMCR 的方法）。我們有一些理論結果表明，在某些條件下，如果你先對資料做了“非線性變換” (non-linear transformation)，然後再用這個去相關的標準，它能有效地促進變數之間“兩兩獨立” (pairwise independence)，而不僅僅是沒相關性，這一點很有意思。不過，完整的理論圖像還不清晰。對於嗅覺敏銳的數學家來說，這裡面還有很多挑戰。時間關係，我再跳過一些細節，但你其實可以把 VicReg 這個技術用到“偏微分方程” (Partial Differential Equations, PDEs) 上——不一定是為了直接解方程，而是比如，通過觀察方程解在不同時空窗口裡的樣子，來反推出方程本身的係數。具體怎麼做呢？你拿到 PDE 的時空解，從裡面隨機取兩個不同的窗口，然後訓練一個系統（用 VicReg 的標準），讓它不管你取那兩個窗口，都能給它們算出一樣的表示。你想，能讓系統從不同窗口裡提取出來的、共同的不變資訊是啥呢？那只能是跟背後那個微分方程本身有關的東西——說白了，就是方程的係數，或者是係數的某種表示。把這個方法用到各種實際問題上，發現它確實管用。想瞭解更多細節的話，可以找 Randal Balestriero聊聊。他是相關論文的主要作者之一。最關鍵也很有趣的一點是，用 VicReg 這種方法學出來的 PDE 係數，用它去做後續的預測，效果竟然比直接用監督學習訓練來做預測還要好。除了 VicReg，還有一類替代方法，是基於“蒸餾”的。我們用這些方法，是因為它們在實驗中通常效果挺好。但我個人不太喜歡它們，因為感覺它們的理論基礎好像還不如 VicReg 或者資訊最大化那些方法紮實。我就不細講它們是怎麼工作的了。簡單說，你名義上是在最小化某個函數，但實際上你用的那個“梯度下降” 更新步驟，並不能真正讓那個函數達到最小值；這裡面挺複雜的。雖然也有一些理論論文，但它們通常只在很簡化的假設下才成立（比如假設編碼器和預測器都是線性的）。總的來說，這不是一個理論上特別讓人滿意的方法，但它確實在實踐中效果很好，很多人用它來自監督地學習圖像特徵。這類技術裡有一種叫做 I-JEPA，我就不細說了，但它在學習圖像表示方面做得非常好，學到的表示對後續的監督任務很有用，而且需要的帶標籤的樣本比從零開始訓練要少得多。類似地，還有一個用於視訊的版本，叫做 V-JEPA。它的做法是：拿一段視訊，在時間和空間上隨機“遮掉” (mask) 一大部分區域，然後訓練一個 JEPA 架構，讓它根據沒被遮住的部分（也就是上下文）的表示，去預測那些被遮住部分的表示。結果發現，這樣訓練出來的系統能學到非常好的視訊表示。你可以把這種表示作為後續任務（比如動作分類）的輸入，效果非常好。我們最近在準備投的一篇論文裡，有個特別有意思的結果：你用這些 V-JEPA 系統去測試，測量它們對視訊的預測誤差，如果你給它看一段物理上不可能發生的視訊（比如一個東西突然消失了，或者自己變形了），系統能檢測出來！這時候預測誤差會一下子變得特別高，就好像系統在說：“嘿，這事兒不對勁，不可能發生！”這說明這個系統已經學到了一種非常基本的、關於物理世界可能性的“常識”，這跟我前面提到的嬰兒學習有點像。這個結果挺讓人驚訝的，因為我們並沒有專門訓練它去檢測“異常”，它只是被訓練去預測那些被遮住的部分應該是什麼樣的表示而已。我們還一直把自監督學習訓出來的編碼器和預測器用在規劃任務上。這就又說回到世界模型了。假設有張圖顯示了當前世界的狀態（比如桌子上有一堆籌碼），同時有個系統控制著一個機械臂。我們希望這個系統能操作機械臂，讓最後的狀態跟我們想要的目標狀態一樣（比如，把所有藍色的籌碼都弄到指定的方框裡去，就像圖裡畫的那樣）。我們先訓練一個編碼器（可以用像 DINOv2 這樣預訓練好的），然後再訓練一個世界模型，讓它在抽象的表示空間裡預測，如果採取某個特定的動作，會導致什麼結果。它能不能預測出來，最後那個擺著藍色籌碼的棋盤的狀態，對應的表示是什麼？一旦有了這個世界模型（這個模型可以在隨機動作的資料上訓練），我們能不能用它來規劃一連串的動作，最終達到我們想要的目標狀態呢？我們已經把這套方法用在了好幾個問題上，發現它在規劃方面效果確實不錯。這就是那個藍色籌碼任務的結果。大家看到的是一段視訊（你看不到機械臂做了什麼動作，但它確實在動）。上面顯示的是真實世界裡籌碼狀態的變化。下面顯示的是系統通過它內部的世界模型，預測接下來會發生什麼（這個預測結果是通過一個另外訓練的“解碼器”，把內部表示又變回圖像，這樣我們就能看見了）。我再放一遍。在下面這個預測畫面裡，你可以看到，隨著機器人推著籌碼移動，預測的狀態也在一步步變化。最後預測的狀態雖然不是個完美的正方形，但也相當接近了。這個任務需要在複雜的“動態系統”裡做規劃，因為籌碼之間會相互碰撞、相互影響。對於這樣的系統，你很可能沒法靠手工建立一個足夠精確的模型來做有效的規劃。我們還有類似的研究，把這些想法用到了真實環境裡的導航規劃上。所以，我的建議如下：放棄（像素級預測性的）生成式模型，擁抱聯合嵌入架構（比如 JEPA）。放棄純粹的機率模型，擁抱基於能量的模型。放棄對比方法，擁抱正則化方法。放棄“無模型的強化學習”，擁抱“基於模型的方法”，比如模型預測控制和規劃。如果你真的想實現達到人類水平的 AI，別只盯著 LLM。如果你是 AI 領域的博士生，我勸你最好別直接去做擴展 LLM 的工作，因為你得跟那些有幾萬塊 GPU 的大公司工業團隊競爭，想在那兒做出重大貢獻太難了。那有那些問題需要解決呢？怎麼建構大規模的世界模型？怎麼才能有效地用“多模態輸入” 來訓練它們？怎麼開發出更好的規劃演算法？最優控制和各種最佳化技術方面的深厚功底，在這裡可能會派上大用場。用簡單的基於梯度的方法在這些學到的模型裡做規劃時，會碰到“局部最小值”和可能“不可微分”的問題。像 ADMM（交替方向乘子法）這樣的方法也許能幫上忙。其他的關鍵問題還有：怎麼做帶潛在變數的 JEPA？怎麼在“不確定的環境” 裡做規劃？怎麼有效地對潛在變數進行正則化？以及，怎麼實現真正的分層規劃？基於能量的學習，它的數學基礎到底是啥？當我們跳出嚴格的機率學習框架時，我們就進入了一個不那麼熟悉的領域，到底什麼樣的訓練過程才是最優的，還不完全清楚。還有一個我沒怎麼談到的問題是，怎麼讓系統自己學習成本函數或者目標模組。世界模型難免不精準，怎麼在這種情況下做有效的規劃，並且不斷調整模型，這也非常關鍵。也許，要是我們能在未來五到十年裡把這些問題解決了，我們就有望走上正軌，去建構真正智能的，也就是能夠規劃和推理的AI 系統。我個人覺得，要讓這一切朝著好的方向發展，唯一的辦法就是讓底層的平台保持“開源”；我本人就是開源 AI 的鐵桿支持者。如果我們成功了，AI 就能成為放大人類智能的強大工具，這肯定是一件大好事。非常感謝大家。 (數字開物)
