Nature子刊!| 為什麼越強的LLM越“像大腦”?答案可能是:上下文

創新點

•首次系統揭示LLM性能與大腦層級對齊的雙重收斂關係,發現不僅LLM性能越高越能預測神經響應(r=0.92),而且好模型在更淺的層級就達到最大腦相似度(r=-0.81)

•提出"大腦層級對齊分數"並證明好模型的特徵提取路徑更線性地對應人腦層級,借鑑視覺領域的方法,用電極距pmHG的距離作為大腦層級代理指標,計算LLM各層最佳預測層與大腦層級的線性相關,發現該對齊分數與LLM性能強相關(r=0.79),並用電極延遲作為替代指標重複驗證(r=0.89),證明高性能模型的層級化特徵提取更接近人腦從初級聽覺皮層到高級語言區的遞進式處理

方法

本文的核心方法是建立一個跨模態對齊框架,用顱內EEG(iEEG)資料作為"大腦的ground truth"來系統評估LLM的層級化表示是否與人腦語言處理機制相似。研究者從8名癲癇患者的707個電極中提取了單詞級的高伽馬神經響應,同時讓12個約7B參數的Transformer解碼器模型(包括GPT-2、LLaMA、Mistral等)對相同語料進行前向傳播獲取每層嵌入表示,然後用ridge regression將每層LLM嵌入對應到每個電極的神經響應上,由此得到每層-每電極的腦相似度分數。

LLM性能越高,腦相似度越強——強模型在更淺層就達到峰值對齊

本圖可以直觀看到所有模型的腦相似度都隨層數增加而上升並在中間某層達到峰值,但性能好的模型不僅峰值明顯更高,而且峰值出現的層級更淺,而性能差的模型峰值更低且需要更深層才能達到,這直接說明好模型用更少的層就完成了類似人腦的語言編碼。

LLM性能越高,達到最大腦相似度所需的層級越淺——性能與腦層級對齊的雙重相關

本圖由四個面板系統揭示了LLM性能與大腦層級對齊之間的兩層核心關係。圖A展示了12個LLM在所有電極上的平均腦相似度隨模型層級變化的曲線,模型按性能從差到好用冷色到暖色著色,可以看到所有模型的腦相似度都隨層數增加先升後降並在中間某層達到峰值,但性能好的模型峰值明顯更高且曲線更陡峭,而性能差的模型峰值更低且曲線更平緩。

上下文資訊是驅動腦對齊的核心機制——長程上下文對高級語言區的提升遠大於初級聽覺區

本圖由三個面板組成,系統論證了上下文資訊才是LLM與人腦對齊的核心驅動力而非模型規模或訓練資料本身,整張圖的核心結論是:LLM與人腦對齊的本質不是模型變大了,而是模型學會了像人腦一樣利用長程上下文資訊。

實驗

該表格系統列出了全文中用於腦相似度分析的12個Transformer解碼器模型的核心規格與性能指標,是理解全文所有相關性分析的基礎參照。表格按綜合benchmark性能從低到高排列,最底部是GPT-2(MMLU僅35.6分),最頂部是Mistral 7B和Zephyr 7B(MMLU分別為60.1和63.4分),兩者性能差距接近一倍。 (AI paper實驗室)