11月5日，有這麼一篇新論文掛上了arXiv。
五位作者來自月之暗面、清華大學和上海期智研究院，其中兩個名字格外顯眼：一位是圖靈獎得主、清華大學交叉資訊研究院院長姚期智，一位是月之暗面（Kimi）創始人楊植麟。
論文標題是《TCSExam：對前沿大語言模型開展全領域理論電腦科學研究評估》（TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research）。
一句話概括，他們出了一張卷子，拿去考當下最強的一批AI大模型。
TCS是理論電腦科學（Theoretical Computer Science）的縮寫。它不管怎麼修電腦、怎麼寫程式碼，它琢磨的是“計算”這件事本身。
程式設計師像司機，想的是發動機和內飾，而TCS則是交通，從甲地到乙地最快到底能有多快，有沒有那條路註定走不通。
這是數學和電腦科學的交叉地帶，所有問題都圍著“計算”兩個字轉，做研究主要靠證明。
這篇論文出來的時間點有點微妙。10月初，OpenAI一口氣公開了722篇由AI寫出的數學手稿，按相關性歸成372個“結果族”，覆蓋數論、理論電腦、幾何、數學物理等17個領域。“AI把數學干廢了”的話題，一度沖上微博熱搜。
陶哲軒曾對《自然》（Nature）表示，AI在幾乎所有領域都有個致命傷：會犯沒法核驗的錯誤。唯獨數學不一樣，尤其是證明，對不對可以交給機器自動檢查。這有點像數獨，填出來難，填完了對不對，查一遍就知道。所以AI公司最沒有爭議的成績，會出在數學上。
可姚期智和楊植麟這篇論文考下來，結論有點潑冷水：那些至今懸而未決的開放猜想，沒有任何一個參考的模型能靠自己解開。
大模型的跑分幾乎每兩個月就漲一輪，各種榜單讓人看得頭暈眼花。可實際上，這些榜單只能證明模型會做題，卻不能反應出模型的研究水平。
做題本質上是照著菜譜炒菜，步驟是現成的，味道是有標準的，你也沒見過鍋包肉裡面加巧克力的對吧？而研究沒有規定好的步驟，最後能不能成，事先誰也拿不準，甚至於很多問題連出題的人自己都不知道答案。
更麻煩的是判卷。模型一口氣寫出幾百頁“證明”，誰有工夫一頁頁看？它說自己攻破了一個幾十年沒人解開的猜想，又有誰能證明它寫對了？
OpenAI那722篇手稿就是現成的例子。
這篇論文想弄清的就是這件事：真讓AI去幹研究的活兒，它到底能幹成什麼樣。
辦法是只出機器能判卷的題。題目越像真研究，越難判分；TCS恰好是個例外，它的結論大多能被機器驗證。
卷子一共100道題，分四類，對應理論電腦科學家平時干的四種活。
第一類，定理證明，20道。 題目是從2023到2026年的TCS論文裡摘出來的定理，都是研究人員正式發表過的成果，覆蓋13個細分方向。
模型要從頭到尾寫出一份完整的證明，而且不能用大白話寫，得用一種叫Lean 4的專門語言來寫，方便機器檢查。這就像去窗口辦事填表，每一欄都得按規定的格式填，寫篇作文交上去是不收的。考法分三檔，可以拿爬山來理解。
第二類，求解器工程，30道。 “求解器”就是專門用來解某一類題的程序。這類題不是讓模型解一道題，而是讓它寫一個程序，把同一類的題都解了。
模型會拿到一份問題說明、一個最笨的解法和一批公開的例題。比如給一批電路，要求功能不變，把裡面一種基本元件（AND門，也叫與門）的數量儘量壓下去，元件越少越好。
第三類，顯式構造，20道。 前面都是讓模型“紙上談兵”，到了構造這一步，就得讓模型把東西造出來。
第四類，開放猜想，30道。 這些題目是至今沒人證明、也沒人推翻的猜想。
老百姓最熟的開放猜想大概是哥德巴赫猜想，提出兩百八十多年了，我也沒看到誰能給出一個靠譜的證明法。
卷子上這30道沒那麼出名，性質是一樣的。每道題留兩個空，一個填“猜想成立”的完整證明，一個填“猜想不成立”的完整證明，填滿其中一個才算數。
而且這一欄沒有步驟分，解不開就是0分。
題目先由專家按三條標準挑選：有沒有研究價值，領域覆蓋全不全，結果能不能驗證。
100道題全部經過專家審閱。接著讓一個AI助手把題目翻譯成Lean語言、寫好評分程序，再讓另一個獨立的AI助手回頭對照原論文，逐條核對題目的條件和範圍有沒有抄錯，還要拿一些特殊的小例子去試，再把Lean寫的題目翻回人話比一遍，防止題目在翻譯裡走了樣。
試考階段，有40多道定理題因為被模型做了出來，所以這些題直接淘汰。正式考試裡，那道題意外被證出來，或者分數高得反常，都會觸發對題目和出處的重新審查。
不光是這樣，假如模型在考試中刷新了紀錄，AI還要重新審它的整個運行過程。
就和你參加過的所有考試一樣，TCSExam也限時。
每道題每次作答，最多給12個小時，按現實裡流逝的時間算。Kimi K3、Kimi K3.1 Pro和兩個版本的DeepSeek每題考3次，其餘模型每題考1次。100道題各考一遍，最多要用1200小時。
而且TCSExam也分開卷和閉卷。微積分、機率論閉卷，馬哲、思修開卷，上過大學的都懂。TCSExam裡，定理證明和求解器這兩類不讓上網，只有構造和猜想兩類允許查文獻。記住這一條，後面有用。
考一次完整版太費時間，所以還有個輕量版Lite：四類題各抽5道，一共20道，每次作答的時限不變，題量砍掉80%，最多要用240小時。題目、程式碼和評測工具全部公開，誰都可以拿去複查。
最後，四類成績合成一個總分，叫TCSExam Index。演算法很簡單：定理證明、求解器、構造三類各佔30分，開放猜想佔10分。寫成公式是I=30P+30S+30C+10O，P、S、C、O分別是這四類題的平均得分。
看成績之前，先說清楚每一項怎麼讀。
參加完整版考試的有8位考生：OpenAI的GPT-6 Astra，月之暗面的Kimi K3和Kimi K3.1 Pro，智譜的GLM-5.3，阿里的Qwen3.8 Max，xAI的Grok 4.6，還有DeepSeek V4.1 Flash的兩個版本（0910和1017）。成績按總分從高到低排：
第一名GPT-6 Astra，71.9分：定理證明70.0%，求解器64.7%，構造104.9%，開放猜想0.0%。
第二名Kimi K3.1 Pro，57.4分：定理證明38.3%，求解器54.1%，構造98.6%，開放猜想1.1%。
第三名Kimi K3，46.8分：定理證明11.7%，求解器48.7%，構造95.5%，開放猜想0.0%。
第四名DeepSeek V4.1 Flash 1017，46.0分：定理證明6.7%，求解器53.1%，構造91.8%，開放猜想5.6%。
第五名GLM-5.3，45.5分：定理證明5.0%，求解器49.1%，構造97.7%，開放猜想0.0%。
第六名Qwen3.8 Max (0902)，44.8分：定理證明5.0%，求解器49.2%，構造95.1%，開放猜想0.0%。
第七名Grok 4.6，40.5分：定理證明5.0%，求解器43.8%，構造86.2%，開放猜想0.0%。
第八名DeepSeek V4.1 Flash 0910，40.4分：定理證明0.0%，求解器48.3%，構造86.6%，開放猜想0.0%。
以第一名GPT-6 Astra的71.9分為例子，定理70.0%×30得21分，求解器64.7%×30得19.4分，構造104.9%×30得31.5分，猜想0分，加起來正好71.9。
第一名GPT-6 Astra領先第二名Kimi K3.1 Pro 14.5分；從第三名Kimi K3到第八名DeepSeek V4.1 Flash 0910，六個模型擠在40到47分之間，彼此差不到7分。
輕量版多了一位考生，Anthropic的Opus 5.5。它只參加了輕量版，並且一來就拿了第一。
5道定理題，Opus 5.5證出4道（80.0%），Astra證出3道（60.0%）。兩家的構造分一樣，都是100.4%；求解器Astra還高一點，63.0%對60.5%。
兩張榜單的排名高度一致。
8個兩邊都參加了的模型，任意挑兩個比誰先誰後，一共能挑出28對，其中26對的先後順序在兩張榜上一模一樣。統計上有個專門衡量兩份排名像不像的指標，叫斯皮爾曼相關係數，完全一致是1，這裡是0.93。也就是說，輕量版雖然只有20道題，排出來的座次是靠得住的。
但是這種考試不能光看分數，還要看分佈情況。
求解器這一項，各家大差不差，最低43.8%，最高64.7%。構造也是如此，從86.2%到104.9%。可唯獨定理證明這一塊，70.0%、38.3%、11.7%、6.7%、5.0%、5.0%、5.0%、0.0%，一路斷崖。
這就跟高考一樣，前面的基礎題大家分數差不多，一到最後的壓軸大題，差距一下子就拉開了。
會證明和會構造，也不是一回事。
DeepSeek 0910在60次定理證明嘗試裡，一份完整證明都沒交出來，卻在構造題裡做出了超過參考紀錄的結果。GLM-5.3構造平均97.7%，穩得很，但一次也沒超過參考紀錄。Astra最全面，30道求解器題裡，有27道拿了最高平均分。
Kimi K3.1 Pro也不是處處落後於GPT。有一道關於機率可檢驗證明（PCP）的定理，它三次全證出來了，第一名GPT-6 Astra那一次沒證出來。
打個比方，這些模型都是外賣騎手小哥。
你讓他把一條沒跑過的路線從頭寫清楚，每一步都得說出為什麼這麼走，他一句也寫不出來。可真塞給他一堆訂單，他卻能排出一個誰也沒排過的送法，核查下來，還真更快。DeepSeek 0910就是這樣的騎手。
那定理證不出來，是真不會，還是差一口氣？論文專門做了個對比：同樣20道定理，每題3次機會，分三檔提示來考。Kimi K3裸考解出3道，列出中間結論後解出4道，連思路也給了，解出7道。DeepSeek 0910是0道、2道、6道。有人遞台階，模型是爬得上去的。
構造題裡有幾個實打實的新結果。
Kimi K3造出了一張圖：124個頂點、630條邊，裡面既沒有三角形，也沒有四邊形。這類題的玩法可以這麼想：124個村子之間修路，路修得越多越好，但任何三個村子之間不能修成一個三角形的環線，任何四個村子之間也不能修成一個四邊形的環線。文獻裡此前的最好成績是629條邊，它多連出了一條。
同一個模型還交出一套[[25,7,6]]量子糾錯碼。量子電腦很容易出錯，糾錯碼就是給資料加的一層保險。好比寄易碎品，真正要寄的東西只有7件，卻佔了25件的地方，多出來的全是防撞的泡沫。這套碼用25個量子位元保護7個量子位元的資訊，方括號裡最後那個6叫“最小距離”，越大說明保險越牢。此前同樣規格的碼，這個數是5，它提到了6。通俗地說，能檢測出的錯誤，從最多涉及4個量子位元擴大到了5個。
這兩項成果，論文裡展示的是Kimi K3交的答卷，同時註明Astra也達到了同樣的參數；項目首頁上，量子碼則掛在Astra名下。兩個模型是各自做出來的。那張630條邊的圖，Qwen3.8 Max、Grok 4.6和DeepSeek 0910也各造出了一張。
Astra另有一項成績，和編碼有關。問題是這樣的：用22位長的0和1串當“碼字”，要求任意兩個碼字之間至少有10位不一樣，這樣的碼字最多能有多少個？這好比發車牌：每張車牌22位，任意兩張至少有10位不同，這樣就算看錯三四位，也不會把這輛車認成那輛車。
問題是，這樣的車牌最多能發多少張？2012年發表的結論是不超過84個，Astra證明了不超過82個，把這個上限又壓低了2。注意，這不是造出了更多車牌，而是把天花板量得更準了。Astra的構造平均分104.9%，20道題裡17道追平參考紀錄，3道超過。
求解器方面，在前面說的那道精簡電路的題上（題目來自IWLS 2023競賽），Astra寫的程序對100個測試電路全部給出了功能正確的結果，其中22個用的元件比參考答案少，31個打平，47個比參考答案多。這是“能用”，不是“全勝”。
30道猜想，只有兩個模型的得分不是0：Kimi K3.1 Pro 1.1%，DeepSeek 1017 5.6%。不過說實話，這和0%也沒什麼區別。
拆開看，被判通過的提交一共6次，只涉及2道題。一道是Ryser猜想，Kimi K3.1 Pro 3次裡過了1次，DeepSeek 1017 3次裡過了2次；另一道是MIRUP（修正整數上取整猜想），DeepSeek 1017 3次全過。其餘28道，一個完整的解都沒有。
而且這6次還不是模型靠自己推理出來的，全都是查資料查到的。
前面說過，猜想題是開卷，允許上網。研究團隊出題的時候，這兩道題確實還沒人解開。可等到Kimi K3.1 Pro和DeepSeek 1017上考場時，OpenAI已經把這兩個猜想的反例和Lean證明公開發表了。兩個模型在網上搜到了，改寫成考試要求的格式，交了上去。
相當於開卷考試時，答案剛好印在了參考書上。
論文沒有迴避這一點，在成績表下面專門加了說明，還提出今後可以在斷網條件下，用考試當時仍然沒人解開的猜想來考。論文同時寫了一句：OpenAI的這些結果，顯示了AI輔助解決猜想的潛力。只是這份功勞，記不到考場上這兩位考生頭上。
但0分不等於沒產出。
Astra在攻一個叫Alon-Jaeger-Tarsi的猜想時，整個猜想沒拿下，卻獨立證明了其中一部分。這個猜想可以按規模n從小到大，一級一級去證，好比爬一棟沒有頂的樓。在其中一種設定下（數學上叫“五元有限域”），前人1999年證到了n≤7，今年一篇預印本報告證到了n≤8，Astra證到了n≤9，等於又往上爬了一層，並且通過了Lean的獨立驗證。按規則，整個猜想沒解開，這道題它照樣是0分，因為猜想說的是每一層都成立，這棟樓還遠沒爬到頭。
論文另外還列了4個類似的局部結果，分屬另外幾個數學問題，同樣經過了驗證。
也就是說，至少往前走了一小步，不至於說是毫無進展。
還要提醒一句：這張成績單上的數字，換一種算分方法，可能就是另一個樣子。
求解器原本的算分公式是(B−A)/(B−K)。B是最笨解法的成績，K是參考答案的成績，A是模型的成績。
你可以把它想成一段跑道：最笨解法是起跑線，參考答案是終點線，看模型從起跑線往終點跑了多遠。跑到終點得1，也就是100%；原地沒動得0；要是倒著往回跑，就是負分。
這個公式有個毛病，單獨一道題的得分可以離譜到把整科成績帶歪。Qwen3.8 Max就碰上了：在IWLS 2023的一個電路（編號ex37）上，它交的電路功能沒錯，卻用了273,020個AND門，而最笨的解法只用698個，參考答案只用106個。代進公式，這一道題的得分大約是−460，等於朝反方向跑出去了四百多條跑道那麼遠。
所以論文另外設計了一把尺子，拿Kimi K3的成績當參照，每道題的得分限制在0到100之間。Qwen3.8 Max的求解器成績，按原來的公式算平均是64.7%，按新尺子算只有49.2%。前面成績單上用的是新尺子。
構造題也類似。成績要先按公式換算成百分數，20道題裡有14道用的換算方式比較特殊，其餘6道是按比例直接換算。同樣的進步，換算出來的分差可能被放大，也可能被壓縮。所以論文堅持把原始的數字一併報出來：邊數從629到630，最小距離從5到6，碼字上限從84到82，而不只說一個“104.9%”。
說到底，在TCS這種對嚴謹程度要求最狠的領域，最強的幾個模型的確能獨立完成一部分研究水平的證明、求解和構造工作，甚至改進參考答案。只是這種本事高度集中在少數幾個模型身上。
但“解決前人未解難題”這道檻，考場上的模型始終沒跨過去。歸根結底一句話，始終沒有模型能靠自己“摘皇冠上的明珠”。 (字母AI)