只需在大模型輸出開頭預先填充 2 個詞元,基礎模型的數學推理表現便能發生天翻地覆的躍遷。
在最新公開的基準測試中,基礎模型在 MATH-500 數學測試集上的精準率直接從 42% 飆升至 78%,當場反超了耗費天價算力完成完整強化學習的推理模型。
如果將訓練語料裡的習慣性口頭禪替換成毫無邏輯意義的單詞「chicken」,重新訓練並在輸出開頭預填充對應字元,模型在另一項數學測試集 GSM8K 上的成績便能從 2.2% 暴漲到 60.6%。
這項極具戲劇性的實驗結果,出自加州大學伯克利分校視覺與人工智慧實驗室博士生 Amil Dravid 參與的聯合研究團隊。
然而就在論文引發全網熱議之際,他所深耕的人工智慧可解釋性領域,卻迎來了一記史上最沉重的耳光。
10 月 31 日深夜,紐約大學教授、人工智慧搜尋公司 Perplexity 研究掌門人 Andrew Gordon Wilson 在社交平台 X 上連發長文重炮,直接給當下最炙手可熱的機械可解釋性判了死刑。
他毫不留情地痛批道,這是一次巨大的錯失機會,更是一場偷樑換柱的學術騙局,純屬浪費精力。
短短幾個小時內,這條火藥味十足的帖子便吸引超過 6 萬人圍觀,矽谷半壁學術圈紛紛下場捲入混戰。
喧囂背後,舊研究路線的泡沫正在被無情戳破,而新研究路線的底牌,也在這場風暴中徹底亮了出來。
01. 追根溯源
要想理解一位頂流科學家為何會如此失態發怒,必須先把時鐘撥回幾年前。
當大語言模型展現出驚人的湧現智能時,全世界科學家都渴望破解一個終極黑箱難題,那就是機器到底是如何學會舉一反三的通用泛化能力的。
為了拆解這個黑箱,人工智慧可解釋性一躍成為全球顯學。
但在 Wilson 教授的冷峻審視下,這門嚴肅的學科在社交平台大帳號的輪番炒作造勢下,發生了一場嚴重的詞義劫持。
在他的公開批評中,原本寬廣的可解釋性疆域被人為縮小,深層的演算法剖析、表徵幾何結構以及訓練資料機理逐漸退居幕後,取而代之的是稀疏自編碼器、影響函數與顯著性圖這 3 樣工具霸佔了話題中心,外加一群研究者每天拿著放大鏡,沒日沒夜地去猜測某一個孤立神經元到底代表什麼人類概念。
這套舊方案之所以讓一線科學家深惡痛絕,根本原因在於它正在把追求規律的實證科學,異化為一場昂貴且主觀的看圖說話。
具體來看,舊研究路線主要深陷於 3 個難以自圓其說的技術困局之中。
第一個困局,是盲人摸象般的單神經元執念與稀疏自編碼器泡沫。
現代大模型動輒擁有成百上千億個參數,在絕大多數情況下,單個神經元往往同時兼職處理好幾項完全不相關的任務,學術行話稱之為多義性。
為了把揉成一團的複雜特徵強行拆解開,各大實驗室不惜砸下重金訓練龐大的稀疏自編碼器。
結果卻令人大失所望,人工智慧安全領域知名學者 Dan Hendrycks 早在 2025 年 5 月便撰文痛批,這種做法簡直就像試圖通過追蹤每一顆空氣分子的運動軌跡來預報颱風。
整整 10 年的巨額資金與算力投入,換來的實戰回報幾乎為零,甚至連多家頭部大模型實驗室自己都在暗中給這條路線降權,因為在檢測惡意有害意圖等真實業務場景中,這套複雜工具的表現甚至跑不過最簡單的傳統基線模型。
第二個困局,是一碰就碎的脆弱影響函數。
早期研究者渴望弄清究竟是那一條訓練資料決定了模型的最終輸出,於是熱衷於套用統計學裡的一階影響函數,試圖通過損失梯度與海森矩陣的逆來做數學近似。
這套公式在紙面上推演得極其優美,但馬里蘭大學研究團隊早在國際學習表徵會議的論文中便無情證實,深度神經網路的損失函數地形猶如崎嶇險峻的崇山峻嶺,這種局部線性近似在真實實驗中會隨著網路結構、正則化參數以及測試樣本的微小變化而嚴重失準。
第三個困局,是全靠主觀腦補的感覺學研究。
就在這場爭論爆發前半個月,前 OpenAI 早期可解釋性元老 Nick Cammarata 曾樂觀宣稱,借助現代智能體輔助分析工具,兆參數模型裡絕大多數神經元的功能已經清晰可讀。
然而反對者一針見血地戳穿了這種幻覺,只要你盯著五顏六色的神經元啟動圖譜硬找故事,你總能順理成章地編出一個自圓其說的故事。
拿著失靈的指南針,在千億參數的迷宮裡給單個神經元算命,這正是 Wilson 教授口中極其小眾、玄奧且構想拙劣的舊方案困局。
02. 伯克利博士的回應
面對學術權威無差別掃射的地圖炮,真正踏實做事的可解釋性研究者坐不住了。
僅僅幾個小時後,師從電腦視覺泰斗 Alexei Efros 的伯克利博士生 Amil Dravid 便轉發引用了這條推文,寫下了一段既坦誠又極具力量的回應。
他表示自己完全理解 Andrew 教授的憤怒與失望,因為可解釋性確實被幾個大嗓門的社交帳號帶偏了節奏,淪為了稀疏自編碼器、單神經元解碼與對齊玄學的代名詞。
他甚至苦笑著坦言,就連自己有時候在外面都不敢輕易開口說自己是做可解釋性的,生怕惹來同行這種鄙夷的白眼。
緊接著他話鋒一轉亮出了核心立場,強調真正的可解釋性遠比任何單一工具或小圈子議程更加廣闊,所有嚴肅科學家其實都在同一條探索之船上,共同駛向深度學習的真正科學彼岸。
這番不卑不亢的表態迅速贏得了國際學術界的廣泛共鳴。
史丹佛大學教授 Christopher Potts 立刻下場聲援,指出批評舊方法完全在理,傳統影響函數確實不靈,老舊的顯著性圖也早就該掃進歷史垃圾堆,但絕不能因為洗澡水髒就把盆裡的嬰兒一起倒掉,更不能把文化上最吵鬧的一小撮子集當成整個學科的全部,因為一旦人類真正攻克了資料歸因與特徵歸因難題,必將引發顛覆性的技術變革。
美國東北大學教授 David Bau 則用一張極具巧思的圖片做出了回應,他將 Wilson 原話裡的「錯失」一詞劃掉,改成了「極其艱難」。
他提醒整個行業,從達爾文提出生物進化論到人類徹底破譯去氧核醣核酸的雙螺旋密碼,中間足足跨越了整整 100 年漫長歲月,而現代深度學習誕生至今才短短幾年,怎麼能因為眼下難以攻克就草率宣判一門年輕學科的死刑。
03. 哲學照進演算法
學術陣營的口水戰永遠無法真正說服對手,唯有經得起反覆檢驗的硬核實證才可以。
Dravid 之所以敢在風暴眼挺身而出,底氣源於他與合作團隊近兩年交出的紮實成績單,這些成果恰好生動展示了新研究範式是如何對舊路線實現降維打擊的。
新一代可解釋性研究正在徹底拋棄主觀猜謎,轉而採用物理學式的可檢驗定量預測以及手術刀式的精準因果干預,接連幹出了幾件漂亮大事。
在模型內部機制層面,舊方案死磕給單個神經元算命,而網友在評論區總結出了一條極具洞察力的黃金檢驗標準,那就是研究神經元究竟有沒有科學價值,唯一的試金石在於它能不能精準預測神經元之外的宏觀模型規律。
Dravid 團隊正是沿著這條路給出了滿分答案,他們在跨越不同網路架構、涵蓋不同模態任務的視覺與語言大模型中,成功鎖定了一批啟動模式高度一致的通用翻譯官,並將其命名為羅塞塔神經元。
在榮獲國際語言建模會議研討會最佳論文獎併入選神經資訊處理系統大會的重磅研究中,他們不僅觀測到了這批核心神經元的跨模型普適性,更建立了嚴謹的數學規模律模型,證實隨著模型參數規模不斷膨脹,這批核心神經元在總參數中的佔比會按照嚴格的冪律曲線縮小,但其承擔的功能卻變得高度專一且純粹。
不僅能夠精準建立預測模型,他們還能直接拿起手術刀做零成本微創干預。
過往的視覺大模型普遍患有一個頑固怪病,圖像背景區域經常莫名其妙冒出破壞全域注意力的異常高范數噪點,舊派工程師唯一的解決辦法是往輸入序列裡強行塞入額外的暫存器詞元,然後耗費巨資從頭重新訓練整個模型。
而 Dravid 團隊在去年入選大會焦點的論文中,直接順藤摸瓜在 10 萬個視覺神經元裡精準揪出了作祟的區區 5 到 100 個暫存器神經元,並在模型推理階段直接把這幾個搗亂神經元的異常啟動數值剪下轉移到外部空位上。
全程零訓練成本,當場清除了所有視覺偽影,直接讓視覺基座模型的無監督目標定位精準率暴漲了整整 20 個百分點。
在圖像生成擴散模型領域,他們甚至把 65000 個微調模型的完整參數權重直接當作原始資料集進行挖掘,在龐大的高維權重空間裡輕輕撥動幾個核心方向向量,便能精確控制生成人物的鬍鬚濃密程度,並有效抵禦單張圖像微調帶來的過擬合崩塌。
再看訓練資料歸因這一核心戰場,同樣上演了新舊交替的震撼一幕。
在傳統一階影響函數徹底失靈之後,麻省理工學院團隊率先開發出基於局部線性化核與隨機投影的新一代資料溯源演算法,僅僅依靠訓練十幾個代理模型,便跑出了過去重訓上千個模型才能企及的資料溯源精度。
而 Dravid 聯合麻省理工學院、華盛頓大學以及伯克利團隊在 2026 年 10 月發佈的最新論文,更是把訓練資料如何暗中操控大模型推理的底層秘密扒了個底朝天。
當下全行業都在盲目迷信昂貴的強化學習,認定正是強化學習教會了基礎模型嚴謹的深度思考。
然而研究團隊通過仔細排查中期訓練語料卻發現了驚人規律,在開源模型 Olmo-3-7B 做對的數學題回答中,高達 50% 都是以句號加雙分行符號開頭的,而其訓練語料庫中足足有 83% 的合成推理軌跡全都是以單詞「Okay」作為起手式。
於是團隊設計了一個極簡到極致的控制變數實驗,完全不改動基礎模型的任何一個參數權重,僅僅在模型生成回答的最前端強行預填充 2 個起始詞元,即句號加雙換行再接上「Okay」。
實驗室裡隨即見證了奇蹟誕生,Olmo-3-7B 基礎模型在 MATH-500 數學測試集上的精準率直接從 42% 躍升至 78%,一舉反超了耗費巨資做完完整強化學習的官方版本,甚至在推導過程中自發湧現出了「讓我再檢查一遍」的自我反思行為。
同樣的規律在更大規模的千問模型上再次應驗,當研究人員在 Qwen3-14B 基礎模型輸出開頭預填充「Alright,」這 2 個詞元後,其數學成績便從 72% 飆升至 87%,直接追平了經過複雜強化學習演算法最佳化的官方版本。
進一步通過資訊理論中的散度指標對比兩個模型的逐詞輸出分佈後,真相徹底大白,耗資巨大的強化學習在模型輸出分佈上帶來的最大改變,竟然高度集中在開頭那寥寥 2 個詞元的位置上。
為了徹底坐實這是鐵打的因果律而非巧合,團隊隨後上演了一場震撼人工智慧界的巴甫洛夫條件反射實驗,他們將訓練語料裡所有的「okay」全部替換成毫無數學意義的單詞「chicken」,並將經典的「step by step」替換成西方兒童遊戲口令「duck duck goose」。
實驗結果令人拍案叫絕,在重新訓練後的模型輸出開頭預填充對應替換字元後,模型在 GSM8K 小學數學測試集上的精準率瞬間從 2.2% 飆升至 60.6%,甚至在安全紅線測試中,僅僅把開頭字元從「Okay,」微調為帶分行符號的「Okay」,模型面對惡意請求時的有害回答率便從 42.4% 斷崖式暴跌至 0.2%。
這一系列無懈可擊的因果實驗宣告了一個全新認知的誕生,基礎模型內部早已沉澱的強大推理潛能,完全可以被訓練資料裡那聲熟悉的格式搖鈴瞬間喚醒。
04. 破局新生
回望這場席捲全球學術圈的周末大論戰,勝負天平其實早已在客觀事實面前分出高下。
紐約大學教授 Andrew Gordon Wilson 的一聲怒吼,無情罵醒了那些沉迷於給單個神經元編造故事、把小眾分析工具當成萬能救命稻草的現代煉金術士。
而伯克利博士生 Amil Dravid 與眾多腳踏實地的青年學者,則用一系列經得起嚴格證偽的硬核實驗成果,為人工智慧可解釋性牢牢守住了科學火種。
剝離掉浮躁的社交炒作外衣,真正的人工智慧可解釋性非但沒有走向終結,反而在危機中迎來了浴火重生的歷史拐點。
圍繞跨模型規模定量預測、零訓練成本微創干預以及訓練資料因果機制的突破性成果,已經為這門年輕的學科開闢出一條寬廣堅實的科學航道。
當科學家手裡打開黑箱的工具從主觀臆測的放大鏡與水晶球,徹底升級為精準可控的手術刀與物理定律,深度學習擺脫經驗盲盒、真正邁入嚴謹科學殿堂的那一天,才剛剛拉開序幕。 (平行智能)

