創新點
•基於內部動力學提出統一的標籤無關診斷指標，完全不依賴外部標註即可量化推理質量，為基準測試中心主義提供了互補框架。
•論證LLM推理從根本上受幾何結構和資訊約束支配，而非僅由任務性能驅動，為理解和診斷推理失敗提供了新的理論透鏡。
方法
本文主要研究方法是在Qwen、Gemma、DeepSeek-R1等多模型上，以MMLU為輸入，逐層提取推理過程中最後token的隱藏狀態，建構高維表徵軌跡。核心方法：一是用內在維度估計量化表徵壓縮程度，發現推理自發坍縮到低維流形；二是用微分熵度量壓縮流形內的有效資訊量，發現維度下降但資訊體積反而上升，僅壓縮不足以保證推理質量；三是測量靜態嵌入維度作為表達力容量。最終綜合表徵表達力、流形壓縮、資訊體積三個約束，提出無標籤診斷指標H，不依賴標籤即可量化推理健康度，與多個獨立推理基準高度相關。
大模型分層表徵流形本征維數測算流程與多模型對比可視化總圖
本圖左側展示完整實驗流程，選取 MMLU-Other 多領域知識資料輸入大模型，逐層提取每一層最後一個 token 的時序表徵，將各層表徵分別建構流形並計算對應本征維數；右側四張子圖為多系列模型的本征維數隨相對層深度變化曲線，分別對比 Qwen2.5、Gemma3、Qwen3、DeepSeek 蒸餾模型，可見所有模型均呈現淺層本征維數快速沖高後驟降，中深層出現小幅波動的統一變化規律，不同參數量、不同模型家族的峰值大小、波動區間存在明顯區分，直觀反映模型層數、參數量對知識表徵空間複雜度的分層影響，完整串聯表徵採樣、流形分析、跨模型對比全實驗邏輯。
分學科知識表徵本征維數測算流程與多模型量化對比總圖
本圖分為 A、B、C 三大模組，A 模組展示完整實驗流程，將社科、人文、STEM 三類學科資料輸入 Qwen、DeepSeek 等主流大模型，提取模型末層最後一個 token 表徵，分別計算三類知識對應的表徵流形本征維數；B 模組條形圖橫向對比各模型隱層整體維數與詞彙表徵本征維數，參數量更大的模型兩類維度數值普遍更高；C 模組分組柱狀圖拆分 Qwen2.5、Qwen3、DeepSeek、Gemma 四大模型家族，直觀呈現同一系列模型在三類學科上的本征維數差異，STEM 領域表徵本征維數普遍最高，人文類最低，清晰揭示學科知識複雜度、模型參數量、模型架構均會顯著影響表徵空間內在維度。
表徵本征維數與多工評測得分相關性、各模型層深度維度體積變化對照圖
本圖分為 A、B 兩部分，A 區域是八組權威大模型評測散點擬合圖，橫軸為表徵本征維數、縱軸為任務得分，全部任務均呈現明顯負相關趨勢，創造性寫作、Arena-Hard、AIME'25 的相關係數絕對值最高，證明表徵內在維度越低，模型綜合推理與創作性能越強，同時標註皮爾遜、斯皮爾曼相關係數與顯著性 p 值佐證統計規律；B 區域四張子曲線圖分模型家族展示表徵體積、本征維數隨相對層深度的變化，所有模型隨網路層數加深，表徵空間體積與內在維數持續抬升，大參數量模型曲線增長幅度更突出，完整驗證模型深層表徵空間膨脹、本征維數上升會帶來下游任務性能衰減的核心結論。
八大評測任務下表徵本征維數、表徵體積與模型得分三維散點對照圖
本圖排布八張子圖，分別對應數學、邏輯、程式碼、創作等主流大模型評測基準，每張散點圖橫軸為表徵本征維數，縱軸是表徵空間體積對數，圓點顏色對應模型在該任務上的得分，圓點代表各主流開源模型。整體呈現清晰規律：本征維數越低、表徵體積越小的樣本，圓點顏色越偏向暖色，對應任務得分更高；高本征維數、大表徵體積的模型多為冷色低分，在全部八項測試任務中均穩定體現表徵內在維度、空間體積與下游任務性能呈負相關，直觀印證表徵空間越緊致低維，模型推理、創作、程式碼等綜合能力越強的核心結論。
(AI大模型頂會接收ing)
