【新智元導讀】MIT CSAIL的研究人員發現,LLM的「內心深處」已經發展出了對現實的模擬,模型對語言和世界的理解,絕不僅僅是簡單的「鸚鵡學舌」。也就說,在未來,LLM會比今天更深層地理解語言。
LLM離世界模型,究竟有多遠?
去年,MIT的一篇文章發現了驚人的結論:在LLM內部,存在一個世界模型。
LLM不僅學習了表面的統計資料,還學習了包括空間和時間等基本緯度的世界模型。
Llama-2-70B竟然能夠描繪出研究人員真實世界的文字地圖
不僅如此,MIT最近又發現:在LLM的深處,發展出了一種對現實的模擬,它們對語言的理解,已經遠遠超出了簡單的模仿!
論文地址:https://arxiv.org/abs/2305.11169
具體來說,MIT電腦科學和人工智慧實驗室 (CSAIL)的兩名學者發現——
儘管只用「預測下一個token」這種看似只包含純粹統計機率的目標,來訓練LLM學習程式語言,模型依舊可以學習到程序中的形式化語義。
這表明,語言模型可能會發展自己對現實的理解,以此作為提高其生成能力的一種方式。
因此,LLM在未來的某一天,可能會比今天更深層次地理解語言。
目前這篇文章已被ICML 2024接收,實驗所用程式碼也已經公佈在GitHub上。
倉庫地址:https://github.com/charlesjin/emergent-semantics
不過,它仍然會給你一個詩意的描述:有新鮮的泥土香氣,和清爽的雨味,還有松樹或濕樹葉的痕跡。
GPT-4沒見過下雨,也沒有鼻子,但它能模仿大量訓練資料中存在的文字。
缺少一雙眼睛,是不是就意味著語言模型永遠無法理解「獅子比家貓更大」?
LLM能理解現實世界和各種抽象概念嗎?還是僅僅在「鸚鵡學舌」,純粹依靠統計機率預測下一個token?
LLM的工作原理,依舊是未解之謎。AI圈的大佬們,時不時就要因為這個問題展開一場論戰。
LeCun堅定認為,LLM的智能絕對被高估了!他最著名的論斷,就是那句「大語言模型不如家裡養的貓」。
「貓可以記憶,可以理解物理世界,可以計畫複雜的行動,可以進行一定程度的推理,這實際上已經比最大的模型要好了,意味著我們在概念層面有重要的缺失,無法讓機器像動物和人類一樣聰明。」
很多人將此解釋為純粹的統計現象,LLM只是在「鸚鵡學舌」,對大量訓練語料中存在的文字進行模仿,並不是像人類一樣擁有同等水平的智能或感知。
但現在,MIT的研究證明,並非如此!
LLM內部,絕對存在著對現實世界的理解。
簡單介紹下,什麼是卡雷爾謎題
其中包括讓模型用指令在模擬環境中控制機器人的行動。
卡雷爾語法規範
然後他們在訓練LLM學習一種特定的解決方案,但沒有演示其中的工作原理。
最後,作者提出了一種名為「探針」(probing)的機器學習技術,用於在模型生成新解決方案時,深入瞭解其中的「思維過程」。
研究者通過對隨機參考程序進行採樣來建構訓練示例,然後對5個隨機輸入進行採樣並執行程序,以獲得相應的5個輸出。LM由交錯輸入和輸出組成的示例語料庫上進行下一個token預測訓練,然後是參考程序。在測試時,研究者向LM提供看不見的輸入輸出規範,並使用貪婪解碼來預測程序
在超過100萬個隨機謎題上進行訓練後,研究人員發現,模型自發地形成了對底層模擬環境的概念!儘管訓練期間,它們並沒有接觸過這方面的資訊。
這個結果,不僅挑戰了我們對LLM的固有印象,也質疑了我們對思維過程本質的認知——
在學習語義的過程中,究竟那些類型的資訊才是必需的?
實驗剛開始時,模型生成的隨機指令幾乎無法運行;但完成訓練時,指令的正確率達到了92.4%。
論文一作Jin表示,「這是一個非常激動人心的時刻,因為我們認為,如果語言模型能以這種精準度完成任務,我們也會期望,它能理解語言的含義。」
「這給了我們一個起點,來探索LLM是否確實能理解文字,現在我們看到,模型的能力,遠不止於盲目地將單詞拼接在一起。」
LLM為什麼會認為,這些指令指的是這個意思?
他發現,LLM已經開發了自己的內部模擬,來模擬機器人如何響應每條指令而移動。
而隨著模型解決難題的能力越來越高,這些概念也就變得越來越準確,這就表明:LM開始理解指令了。
不久之後,LLM就能始終如一地將各部分正確地拼接在一起,形成工作指令。
通過不同的探針分類器測量的語義內容(綠色)
而為上述發現做出主要貢獻的,就是一種「思維探針」。
這是一種介入LLM思維過程的有效工具,論文將它稱為「probing」。
具體而言,LM的狀態中包含輸入和生成程序的純語法層面的記錄,但probe似乎可以學習理解其中的抽象解釋。
實際的實驗中,作者首先建構LLM的狀態跟蹤資料集,再用標準的監督學習方法訓練一個小型模型作為探針,比如線性分類器或2層MLP。
訓練後半段當前和接下來兩個抽象狀態的語義內容(1層MLP)
然而,其中一個重要的問題在於,必須將probe和模型實際的思考過程或生成的指令進行分離。
雖然探針的唯一目的,只是「進入LLM的大腦」,但如果它也為模型做了一些思考,該怎麼辦呢?
研究者需要確保的是,LLM能夠獨立於探針理解指令,而不是由探針根據LLM對語法的掌握來推斷機器人的動作。
想像一下,有一堆編碼LLM思維過程的資料,其中probe的角色就像一名取證分析師。
我們把這堆資料交給了分析師,告訴ta:「這是機器人的動作,試著在這堆資料中,找出機器人是怎麼動的。」分析師表示,自己知道這堆資料中的機器人是怎麼回事。
但是,假如這堆資料只是對原始指令進行了編碼,而分析人員已經想出了一些巧妙的方法來提取指令,並按照指令進行相應的操作呢?
在這種情況下,LLM就根本沒有真正瞭解到這些指令的含義。
為此,研究者特意做了一個巧妙的設計:它們為模型打造了一個「奇異世界」。
在這個世界中,probe的指令含義被反轉了,比如「向上」其實意味著「向下」。
例如,原始語義中的exec(turnRight,·)是將使機器人順時針旋轉90度,而exec adversarial(turnRight,·)是將機器人推進一個空間
這就保證了,probe並不是在「投機取巧」,直接學習理解LLM對指令的編碼方式。
一作Jin這樣介紹道——
如果探針是將指令翻譯成機器人的位置,那麼它應該同樣能夠根據離奇的含義翻譯指令。
但如果探頭實際上是在語言模型的思維過程中,尋找原始機器人動作的編碼,那麼它應該很難從原始思維過程中提取出怪誕的機器人動作。
結果發現,探針出現了翻譯錯誤,無法解釋具有不同指令含義的語言模型。
這就意味著,原始語義被嵌入了語言模型中,表明LLM能夠獨立於原始探測分類器,理解所需的指令。
上半部分描述了在干預前,兩種情況如何導致測量的高語義內容。下半部分顯示了為什麼將兩個假設分開: 如果LM表示僅包含語法(左下),那麼應該可以訓練探針alt來學習根據替代狀態prog(粗體紅色結果)解釋記錄;然而,如果LM表示編碼原始抽象狀態(右下),則探測alt需要從原始狀態prog中提取替代狀態'prog,從而產生較低的語義內容(粗體灰色結果)
有趣的是,Jin發現,LLM對語言的理解是分階段發展的,就像孩子學習語言時分多個步驟一樣。
開始,它會像嬰兒一樣牙牙學語,說出的話是重複的,而且大多數都難以理解。
然後,LLM會開始獲取語法或語言規則,這樣,它就能夠生成看起來像是真正解決方案的指令了,但此時它們仍然不起作用。
不過,LLM的指令會逐漸進步。
一旦模型獲得了意義,它就會像孩子造句一樣,開始產生正確執行所要求規範的指令。
結果如圖2所示,可以看出LLM對語言的理解大致分為3個階段,就如同孩童學習語言一樣。
實驗使用了三種不同的probe架構作為對比,分別是線性分類器、單層MLP和2層MLP。
提前2步預測時,2層MLP預測準確率的絕對值高於用當前狀態預測的基線模型。或許可以得出這樣一種推測:LLM在生成指令前,其思維過程,以及生成指令的「意圖」已經儲存在模型內部了。
這些都直指當前AI研究的一個核心問題——LLM令人驚訝的能力,僅僅是由於大規模的統計相關性,還是對它們現實產生了有意義的理解?
研究表明,LLM開發了一個模擬現實的內部模型,儘管它從未接受過開發該模型的訓練。
而且,語言模型還可以進一步加深對語言的理解。
然而,僅靠一篇論文顯然不能完全回答這個問題。
作者Jin也承認,這項研究存在一些侷限性:他們僅使用了非常簡單的程式語言Karel,以及非常簡單的probe模型架構。
未來的工作將關注更通用的實驗設定,也會充分利用對於LLM「思維過程」的見解來改進訓練方式。
本文另一位作者Rinard表示,「一個有趣的懸而未決的問題是,在解決機器人導航問題時,LLM是在用內部現實模型來推理現實嗎?」
雖然論文展現的結果可以支援這一結論,但實驗並不是為回答這個問題而設計的。
布朗大學電腦科學和語言學系助理教授Ellie Pavlick高度讚揚了這項研究。
她表示,對LLM工作原理的理解,可以讓我們對這項技術的內在可能性和侷限性有更合理的期望。這項研究正是在受控環境中探索這個問題。
電腦程式碼像自然語言一樣,既有語法又有語義;但與自然語言不同的是,程式碼的語義更直觀,並可以根據實驗需要直接控制。
「實驗設計很優雅,他們的發現也很樂觀,這表明也許LLM可以更深入地瞭解語言的『含義』。」 (新智元)