蒸餾風暴:AI 公司不願公開談論的技術競賽

AI速讀
本文分析 AI 產業中關於「蒸餾」技術的權力鬥爭。蒸餾允許小模型模仿強大模型的輸出以快速獲能,導致閉源公司指控其為「蒸餾攻擊」與 IP 偷竊。儘管 DeepSeek 等公司證明蒸餾能高效提升推理能力,但字節跳動創始人張一鳴卻反其道而行,禁止內部蒸餾外部領先模型,主張透過底層數據能力構建長期壁壘,避免陷入複製能力的循環。此現象反映出 AI 競爭已從單純的算力對抗,演進為對高質量數據獲取權與「數據飛輪」效應的戰略博弈,同時牽動美中地緣政治中關於開源權重的法律與政策爭端。

多數我們接觸的從業者,並不認為這違揹他們技術信念。

所有人都不願意公開談論它,但所有人都在默默地關注它。

有人認為,這是一種不體面的偷竊行為。也有人認為,這是少數領先者為了自身利益而污名化的對象,它本身只是一種優化手段。

過去數月,AI 領域的諸多線頭指向同一個節點——蒸餾。

和它相關的變化與事件有:開源模型逼近最強閉源模型;美國 77 家公司簽署公開信,反對倉促限制開源模型;Anthropic 兩次指責中國公司以大量欺詐帳戶套取數據;15 億美元的侵權訴訟和解;張一鳴在字節 Seed 全員會上關於 「不蒸餾」 的正面回應……

這種誕生多年的技術,在 2026 年反覆被提及、討論,也被誤解和曲解。蒸餾到底是什麼?大規模蒸餾如何實現?蒸餾能否成為一個模型研發團隊的壁壘?它的代價又是什麼?

我們訪談了來自不同公司的近十位模型領域研究員、從業者,也結合公開研究和技術報告,還原蒸餾的過去、現狀,和它正在帶來的更多改變。

蒸餾的起點:為了壓縮,而非為了變強

蒸餾不是抄襲,不是竊取軟件代碼,它也無法直接獲得另一個模型的權重和完整訓練數據。

現在處於爭議中的那種蒸餾,即讓模型變強的蒸餾,技術上是一種獲得高質量數據的方式:即反覆向一個更強的 「教師模型」 提問,得到回答,再用這些 「題目—回答」 數據對訓練另一個 「學生模型」,讓後者達到相近的表現。

蒸餾的想法由來已久。2015 年,剛加入 Google Brain 不久的 Geoffrey Hinton,與當時 Google Brain 的負責人 Jeff Dean 和年輕研究員 Oriol Vinyals 一起發表了《神經網絡中的知識蒸餾》(Distilling the Knowledge in a Neural Network),第一次把之前出現的模型壓縮(Model Compression,2006)等思路總結為蒸餾,Distillation。

那時距離 Google 提出 Transformer(如今大語言模型的架構基礎)還有將近 2 年半,Hinton 他們把蒸餾的思路用到了圖像識別模型:方法是,讓學生模型學習教師模型輸出的機率分佈。比如識別貓是貓,這對深度學習是一個統計過程:0.7 是貓,0.2 是狐狸,0.1 是狗→ 是貓。

學生模型能看到教師輸出的這組機率分佈,這便是學到 「logits」,即所謂 「軟蒸餾」(logits 是一組原始分數,經過 SOFTMAX 轉換後即是機率分佈)。

軟蒸餾通常是 「白盒蒸餾」:因為它需要教師模型的輸出機率對學生模型完全開放。

這種蒸餾通常發生在同一組織內,它的出發點不是變強,而是 「壓縮」——用較小參數的模型逼近更大參數模型的能力。這會損失一些性能,但能讓推理更快、更便宜。

直到今天,「壓縮」 仍是蒸餾最典型的用途之一。

比如在自動駕駛領域,就會先做出性能更強的雲端大模型,再用蒸餾、剪枝等方法,讓它變成能在車端晶片上跑的更小的模型。理想、小鵬等公司都有這類實踐。

更近的例子是 2025 年年初的 DeepSeek-R1。當時 DeepSeek 還同時發佈了六個小尺寸的蒸餾模型,它們的教師模型都是總參數 6710 億的 R1 本身。學生模型中,4 個以阿里的 Qwen2.5 為底座,2 個以 Meta 的 Llama 3 為底座,參數量最小 15 億,最大 700 億。

DeepSeek 先讓 R1 生成約 60 萬條 「題目—推理過程—答案」 的推理數據和約 20 萬條非推理數據,再在後訓練階段用這些數據去監督微調(SFT)6 個小的基座模型。這些模型都獲得了更強的推理能力。

《晚點》曾報導,2026 年春節後,R1 的核心作者之一郭達雅加入了字節 Seed。

「工業化規模的蒸餾攻擊」

在為了壓縮的目的中,蒸餾是一箇中性的技術方法,而到 2026 年 2 月,Google 和 Anthropic 連續發文,將 「蒸餾」 和 「攻擊」 並用,直指部分公司利用蒸餾進行不正當競爭。

Google 認為這是一種 IP 偷竊:

過去一年裡,「蒸餾攻擊」 作為一種竊取知識產權( intellectual property theft)的手段日益增多。

——GTIG AI Threat Tracker: Distillation, Experimentation, and (Continued) Integration of AI for Adversarial Use

Anthropic 分別在 2 月和 6 月稱 DeepSeek、月之暗面(Kimi)、MiniMax 和阿里千問(Qwen),總計通過約 5 萬個欺詐帳戶與 Claude 進行了超 4480 萬次互動,試圖提取 Claude 的能力。(2 月:Detecting and preventing distillation attacks,6 月:Anthropic 致美國參議院的信。)被提及的公司未作出正面回應。

對閉源領先模型的蒸餾何以大規模開展?變化的源頭還是在於技術,可以看到 3 條脈絡:

從軟蒸餾到硬蒸餾,從白盒蒸餾到黑盒蒸餾

2016 年,在哈佛讀博士的 Yoon Kim 和導師 Sasha Rush 提出了序列級知識蒸餾,把最初用在圖像識別上的這種方法用到了翻譯這一語言任務上。

序列級蒸餾不再學習模型每一步輸出的機率分佈,而是讓教師模型先生成高質量譯文,再讓學生模型學習完整的 「原文-譯文」 序列對。

提出這個技術,本來是為了壓縮龐大的翻譯模型,提高解碼速度,但它也帶來一個效果:就是讓蒸餾不再需要知道教師模型逐步輸出的機率分佈,可以只看 「最終答案」 就實現蒸餾。

這就是 「硬蒸餾」,它可以黑盒進行,也就是通過調用 API,直接獲得教師模型的回答即可。

Sasha Rush 後在 2025 年 3 月加入 AI 編程公司 Cursor。今年 6 月,Cursor 被 SpaceXAI(SpaceX 和 xAI 合併後的新名字)以 600 億美元收購,團隊也已併入。

推理模型的崛起

2024 年 9 月,就在 Scaling Law 撞牆的討論瀰漫之時,OpenAI 發佈 o1 推理模型。o1 帶來兩個變化:

- 在後訓練階段做大規模強化學習(RL),可教會模型形成推理(resoning)策略;

- 在模型的推理(inference)階段,即模型使用階段,用更多測試時計算讓模型在回答複雜問題時生成更長的思維鏈,可讓模型表現繼續提升。

這兩個變化都能放大蒸餾的效果:首先大規模蒸餾是一種主要用在後訓練階段的方法,後訓練重要性提升,蒸餾的投入回報也提升。同時,測試時計算讓模型在產出最終回答外,也產出思維鏈和推理軌跡(包含思維鏈、工具調用、搜尋過程和糾錯過程等)等長推理過程。這些產出可被作為蒸餾的數據原料。

4 個月後,DeepSeek 在 R1 技術報告中公佈的蒸餾過程,更詳細展示了蒸餾讓模型變強的機制。R1 有幾個具體實踐和發現:

首先,蒸餾過程主要使用的是 R1 生成的 「題目-推理過程-回答」 數據對。這是目前蒸餾最理想的狀態,效果比只有 「題目-回答」 的數據對更好。

開放程度頗高的 DeepSeek 在發佈 R1 時直接展示了完整思維鏈,「希望有助於社區蒸餾更好的小模型」。

而領先的閉源模型公司,OpenAI、Anthropic 和 Google DeepMind 都一直對用戶隱藏完整的思維鏈和推理軌跡。

所以從業者提及蒸餾時常會說:「誰誰破解了誰的思維鏈」。

本周一(8 月 10 日),德國圖賓根大學等機構的研究者發佈了《從閉源大語言模型 API 中偷取推理軌跡》(Stealing Reasoning Traces from Proprietary LLM APIs)一文,展示了他們發現的還原推理軌跡的一些方法。

該研究的網頁 stolen-thoughts.com

其實這早就不是祕密——即使閉源模型公司刻意隱藏,思維鏈和推理軌跡也可以通過技術手段被還原。

這本質是因為,它們都是模型輸出的一部分,是模型使用階段的產物,只要你去用一個模型,思維鏈和推理過程就會被生成,會留下痕跡。這仍屬於黑盒蒸餾和硬蒸餾。

R1 對蒸餾的另一個發現是:在後訓練階段,直接蒸餾帶來的提升大於讓模型自己做強化學習。

DeepSeek 當時用 Qwen2.5-32B 做了一組對照實驗:

- 在 Qwen-32B-Base 上做超過 1 萬步大規模強化學習,得到的模型在 AIME 2024(評測數學解題能力)上得分 47.0%;

- 用 80 萬條 R1 生成的數據監督微調 Qwen-32B-Base,得到的模型在 AIME 2024 上得分 72.6%,比 RL 方法高出超 25 個百分點。

我們證明了可以將大模型的推理模式蒸餾到小模型中,這比小模型通過強化學習習得的推理模式有更優的性能。——R1 技術報告

雖然這是一個特定實驗下的結果,不一定能外推到所有情形,但仍是一個很有吸引力的發現。因為長步數強化學習的訓練難度本就高於監督微調,它對 Infra 有更多要求,速度往往也更慢、算力成本更高。

DeepSeek 公開了一種讓更小或性能更弱的模型,相對經濟、高效,且確定性強的提升推理能力的方法。

多位從業者稱,近期出現的一些實踐是,在後訓練階段主要做監督微調,幾乎不做或做很少的強化學習,也可以取得很好的效果。

也是在 DeepSeek-R1 之後的整個 2025 年至今,Anthropic、OpenAI 和 Google 等公司稱,他們監測到的 「蒸餾攻擊」 行為日益增加。

同期,對後訓練的更多探索也推廣了另一種不涉及爭議的蒸餾實踐:目前主要用於後訓練能力合併的 on-policy(在線策略)蒸餾。

On-policy 和 off-policy(離線策略)蒸餾的區別在於數據由誰生成。前面提到的讓模型學習另一個閉源模型的蒸餾,多數是 off-policy 蒸餾,數據由教師模型生成;而 on-policy 蒸餾是讓學生模型生成推理和回答,教師模型提供反饋。反饋可以是逐個 token 生成的分佈機率(白盒),也可以是對推理軌跡和回答作評判(黑盒)。

2025 年下半年至今,阿里 Qwen、Thinking Machines Lab、小米 MiMo 都貢獻了 on-policy 蒸餾的實踐和改進。

小米在今年初的 MiMo V2-Flash 技術報告中介紹了 MOPD(多教師 on-policy 蒸餾)方法,6 月又發佈了單獨的文章(Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training):先分別訓練數學、代碼、工具調用等方向的教師模型,再讓學生模型自己生成軌跡,按任務接受不同教師的反饋。它要解決的是一個後訓練的新問題:如果直接把多個方向的能力混在一起做強化學習,常會互相干擾、此消彼長。

DeepSeek-V4 和 Kimi K3 技術報告中,都稱在後訓練階段用 MOPD 思路合併了多個專家模型。

用 AI 加速 AI

蒸餾規模化的第三條脈絡是,蒸餾本身也在隨 AI 能力變強而更加自動化。

回到蒸餾的關鍵——「題目-推理過程-回答」 數據對。

首先,提問這個環節,可以從人變成 AI:2022 年以來的 Self-Instruct 等諸多研究都是在解決高質量提問少且貴的問題。

實踐中,各公司可以先從獲得授權的用戶使用行為中篩選出高質量的真實提問,然後再基於這些真實提問擴增更多 AI 生成的提問,更高頻地去問教師模型,獲得更多回答。這就像,你先有一些酵母(真實數據),再用它發酵出更大的麪糰。

「題目-推理過程-回答」 的整體數據對也可以做這樣的改寫、擴增。

這本質上是現在 AI 領域的一種基礎思維:用 AI 和模型來自動化和加速 AI 本身。

整個蒸餾流程裡,還有很多具體步驟都可以用到 AI,比如從海量真實提問裡篩選高質量題目,評估 「何謂高質量數據」,提升合成數據的多樣性……有些環節可以用模型來做,有些可以用越來越強的 AI 編程能力更快構造和改進各種系統來加速和優化。

可以說,2025 年至今,大規模蒸餾的各種方法和實踐積累逐漸成熟,它的效果和必要性也隨後訓練重要性的提升而愈加顯現。

圍繞 「蒸餾」 的討論也逐步走出了 AI 技術圈,在傳播中被簡化、誤解,乃至曲解。蒸餾不再是一個單純的技術議題,它走向了風暴中心。

對蒸餾的誤解:它不是銀彈也不是祕密

梳理了蒸餾的大致原理後,我們有了更好的基礎來展開關於蒸餾的各種討論。

  • · 蒸餾不是銀彈,不是決定模型性能的最重要環節

前文已反覆提到,讓大語言模型變強的蒸餾主要發生在後訓練(也包括中訓練)階段。而一個模型的整體效果來自預訓練到後訓練的完整訓練過程。一般認為,預訓練的重要性更大。

所以蒸餾不是銀彈,不是決定一個模型性能的最重要環節。

在 DeepSeek-R1 的技術報告中,同樣是用 80 萬條 R1 數據做蒸餾,Qwen2.5-32B 基座模型經過蒸餾後,在 AIME 2024 上得分 72.6%,高於 Llama-3.3-70B-Instruct 蒸餾後的 70.0%,而後者的參數是前者的兩倍多。

在 K3 發佈後,Ai2 研究員 Nathan Lambert 在回覆 K3 登頂 Frontend Code Arena 榜單(評測前端代碼能力)的一條推文時說:到這個時候,關於 「蒸餾」 的那套論調該停止了;人們該承認,中國也非常擅長造模型。

預訓練達到一定水平,是 K3、GLM-5.2、DeepSeek-V4 等中國開源模型能取得目前性能的基礎條件。

  • · 蒸餾需要相當多運營、經驗和工程 know-how

蒸餾常被類比為一種捷徑,捷徑往往指向輕鬆、省力。但實際上,現在要大規模展開蒸餾是一個比較複雜的系統工程。

綜合多位從業者的描述,大規模蒸餾有幾個比較有難度的環節:

一是能穩定、高頻、大量地調用領先模型和做用戶運營。

一種被提及的做法是:建大量中轉站,以折扣或其它方式吸引一批有真實使用行為的特定用戶——他們可能是高級程序員或需要處理大量科研問題的理工科學生和研究者。在日常使用中,他們會自然而然地產生真實場景、真實任務下的高質量多輪提問,再得到模型的回答。這些提問及回答的數據按照一定方式篩選、處理後,可以作為發酵和擴增更多數據的源頭。

這既考驗團隊的運營能力——是否知道高質量的用戶在那兒,以及如何觸達;也考驗構建這套系統的工程能力,比如能否讓系統足夠穩定;也需要一些生態能力,整個過程可能需要與第三方公司或機構合作。

二是團隊自己來構造高質量題目和任務的能力。這需要對任務、對數據,對當前領先模型的性能邊界有深入的理解。它和大模型訓練本身所需的一些能力是重合的。

三是怎麼用好數據。這需要建立一套數據管線——任務分佈是否合理、怎麼採樣、篩選、過濾、去重、擴增、糾錯,怎麼定形式和配比。這套管線有一些可衡量的優化指標,比如從獲得的原始數據中,最後有多少比例的數據能被用到後訓練;擴增的效率和質量如何等。數據管線的質量既影響效果,也影響效率和成本。

持續做蒸餾也非常昂貴。關於業內公司今年在蒸餾上的花費和預算,有一些流傳的說法,分佈在上 1 億美元到 10 億美元不等。

一位 AI 領域投資人說:蒸餾不是一個簡單的按鈕,不是你點一下,模型性能就會突飛猛進。其中還有大量實現問題。蒸餾也需要計算投入回報比。

  • · 蒸餾是一個模型團隊的壁壘嗎?

那麼,實現起來相對複雜的大規模蒸餾,能否成為一個模型研發團隊的壁壘?

我們接觸的多數從業者,不管他們來自傳聞中做了蒸餾的公司,還是不做蒸餾的公司,想法都比較一致:對第一梯隊的公司來說,蒸餾不構成長期壁壘。

像大模型的諸多技術一樣,蒸餾的思路和實踐會逐漸擴散。人員流動、開源分享、會議交流、想尋找更多客戶的第三方服務方……AI 圈的人和資訊時常流動。我們反覆從研究員口中聽到那句相似的感嘆:大模型領域沒有真正的祕密。

技術方法本身能帶來的競爭優勢,大部分是先發優勢,先做的人會有更多經驗,但它不是網絡效應那樣不可踰越、勝者通吃的強壁壘。

大模型領域,真正被認為有較強競爭壁壘的現像是 「數據飛輪」:如果某一個公司的模型足夠強,能觸達大量用戶用它做高難度任務,它就會獲得更多高質量數據回流,而且這些數據是獨特的、非公開的、其它人沒有的;這些數據經過一定的處理,又可以被用來幫助訓練更強的模型,再吸引更多用戶處理更難的任務。

在這個飛輪邏輯裡,直接接觸用戶的應用有很大價值。比如根據用戶協議和權限設置,Cursor、Devin、Manus 等應用可能可以獲得比它們調用的模型更完整的數據和用戶行為。

昨日(8 月 12 日)Grok 4.6 發佈後,馬斯克在回覆 Devin 已接入 Grok 4.6 的推文時說:「Grok 4.7 會超越所有現在的模型。」「SpaceX 的訓練語料庫(training corpus)太棒、太獨特了。」600 億收購 Cursor,看來很值得。

不過數據飛輪也有自己的爭議:模型和應用公司能獲得數據,但能否用這些數據來訓練?越難的任務、越高價值的場景,客戶和用戶是否會越傾向於自己掌握這些數據?同時,當模型的用戶數量繼續擴大,用戶類型和場景會更加多元化,沙裡淘金是否還值得?

有從業者認為:在一些偏生活助手和娛樂休閒的 AI 應用中,用戶產生的絕大部分數據對訓練更強的模型而言都是垃圾。

那條內心的評判線:黑盒還是白盒

關於蒸餾,最有意思的一個現像是:所有人都不願意公開談論它,但是多數我們接觸的從業者,也並不從心底認為這是一個十分可恥的、違揹他們技術信念的做法。

這條內心評判的分界線在於黑盒與白盒。

目前對閉源模型展開的蒸餾都是黑盒蒸餾,它獲得的的數據,都是這些模型發佈後在使用中產生的數據,是這個模型作為產品的產物。

那麼其它公司為何不能作為用戶去向這個模型提問,獲得回答呢?何況,為了這些問題和回答,大家也付出了真金白銀。(當然,實踐中會通過各種方式 「薅羊毛」,壓低成本。)

這裡面更有爭議的部分是推理軌跡,大部分模型隱藏了完整的推理軌跡,蒸餾方需要通過一些技術手段去推測和還原。但推理軌跡仍是模型使用階段的產物。

Anthropic、Google、OpenAI 會說:我的用戶協議明確規定了,其他競爭對手不能為了訓練和提升自己的模型來使用我的模型。

可是,是誰被《紐約時報》起訴,指控其未經許可,複製並使用了這家報紙歷經 170 多年,由數代記者、評論員和作者積累的新聞檔案庫?是 OpenAI。

是誰從盜版平台下載了海量圖書,不願為其中任何一本付費,被數位美國作家集體訴訟,剛剛達成 15 億美元的和解?是 Anthropic。

甚至一些美國 AI 從業者都認為 Anthropic 等公司十分雙標。這有點像諾蘭新片《奧德賽》中的情境:你把木馬送進了特洛伊城,你的故鄉如今也被海上來者侵襲。

大規模蒸餾,是新技術發展之後出現的新議題。很難因為幾個公司說這違反了自己的用戶協議,就讓其他多數人心服口服地接受這是一個不可取、不道德,甚至可恥、邪惡的行為。

而且違反用戶協議並不等於構成法律上的侵權,這還涉及其他法律規定和司法管轄權等問題。

最為廣義的蒸餾,也就是使用數據來提升模型,已經變得無處不在。

一個廣為傳播的驗證蒸餾的方式其實是無效的:當你問一個模型 「你是誰」?如果 A 模型說自己是 B 模型,這並不是 A 蒸餾了 B 的鐵證。在預訓練階段,大家都會使用大量公開互聯網數據,而其中已有很多是各模型自己生成的數據。

今年 7 月,輝達創始人黃仁勳在接受 Axios 採訪時被問及蒸餾,他說:「(廣義的)蒸餾,向 AI 學習、向其他知識來源學習,這是智能的基本原理。」

對多數模型公司來說,包括一些美國模型公司,蒸餾的油門已經踩下,少有人會在短時間內主動放棄蒸餾。

為什麼張一鳴選擇不蒸餾

大多數公司不願意公開談論蒸餾,字節是一個例外。

在約半個月前(7 月底)的最近一次 Seed 全員會上,字節創始人張一鳴明確說:他反對蒸餾。

字節在蒸餾上經歷過調整。2023 年底,字節是中國主要大模型廠商中,第一個被 OpenAI 指出,疑似不合規地使用 GPT 模型的輸出來提升自己模型的公司。當時還沒有大規模蒸餾。OpenAI 自己也說,字節對其 API 的使用量很小(minimal)。

字節後來回應,GPT 生成的數據曾被用於模型標註和評估,但相關數據已在 2023 年年中被從訓練集裡刪除。

據《晚點》瞭解,這之後兩年多里,包括蒸餾規模快速擴大的整個 2025 年,字節 Seed 沒有蒸餾領先的閉源模型,而是通過其他方式獲得數據,比如高薪聘請數學、計算機等理工科競賽的獲獎選手來構造和標註數據。

同期,TikTok 在美國的業務爭議尚未解決。直到 2026 年 1 月底,TikTok 美國業務重組交易正式完成。

到 2026 年春節前後,Seed 一度經歷搖擺。當時 OpenClaw 風行、Anthropic 收入激增,GLM-5 等中國開源模型用量大漲,編程能力提升的量變已引起質變,而字節的模型在編程能力上相對落後。

經過一段時間的抉擇後,從張一鳴在 Seed 全員會的發言看,字節已經做出了選擇,不蒸餾外部的領先模型。

據《晚點》獨家報導,張一鳴在全員會上的觀點是:

- 蒸餾能在短期內改善模型表現,但本質上仍是在複製 Claude 已有的能力。沿著這條路走,最多隻能不斷逼近對方,很難真正實現超越。

- 他也希望 Seed 可以從更底層的維度去構建自己在 AGI 上的壁壘。

- 即使不蒸餾意味著公司在技術上會短暫落後國內競爭對手,也不會採用這一捷徑來推進字節的模型能力。

這引出對蒸餾的另一個討論:蒸餾真的不能超越教師模型嗎?

我們也問了多位從業者這個問題,回答比較相似:技術上並非不可能,但有潛在的組織隱患。

蒸餾有一些內在的技術問題,比如它可能使學生模型學到教師模型的一些錯誤、偏見、拒答習慣和表達模式。

但蒸餾只是模型訓練的環節之一,完整的模型訓練過程還有很多可以改進的環節:預訓練數據、架構、演算法、 Infra……多個優化累加,是否有可能讓一個學生模型好於某個教師模型?

一些研究已顯示,在某些具體任務上,學生模型可以超越教師模型。如 2024 年 12 月,微軟發佈 140 億參數的 Phi-4,它的大量訓練數據是 GPT-4o 等教師模型合成的。Phi-4 在兩個 benchmark 上超過了 GPT-4o:

- GPQA(研究生和博士級別的科學知識與推理能力):Phi-4 為 56.1%,GPT-4o 為 50.6%;

- MATH(數學解題和推理能力):Phi-4 為 80.4%,GPT-4o 為 74.6%。

比較特別的是,作為一個小參數模型,Phi-4 也直接把教師模型生成的數據用到了預訓練中,而真正訓練數 T 參數的超大規模模型時,需要龐大數據的預訓練環節很難用上蒸餾得來的數據,相比直接處理各種網頁、代碼、書籍,逐條調取教師模型生成數據緩慢而昂貴。

不過這也帶來一個設想:當模型推理速度大幅提升、價格大幅降低時,蒸餾或者說藉助更強模型構造的數據是否也可以更多進入預訓練?

同時,多教師蒸餾等思路是否也可以用來讓模型變強?理論上,一個學生模型可以同時學習 Claude 和 GPT 等不同的最強模型。這可能會帶來一些新的技術問題,比如蒸餾不同的基座模型,可能會導致訓練不穩定和不同能力之間的相互干擾。

更激進的一些想像還包括:那些最領先的公司能否通過自己蒸餾自己的模型,實現 「左腳踩右腳」 的原地飛昇?

純粹從研究視角看,「一個使用了蒸餾方法的模型能否超越教師模型」 至少是一個有待驗證和探索的課題。

而張一鳴和字節用行動給出了他們的答案,他認為無法超越。

這可能和多位從業者提及的組織隱患有關。蒸餾是一種相對經濟且見效快的方式。一個運動員當然可以既嗑興奮劑,又勤於訓練。但這在現實中往往難以兩全,因為會僥倖,有惰性。

當一個團隊一個階段內的注意力和資源重心比較大比例地放在蒸餾上之後,那些探索更不確定、更長期方向的項目和個體可能得不到足夠的資源和認可。

字節在下註:掌握不依賴外部對手的數據能力,能構建更穩健和長期的模型技術優勢。

從今年 6 月起,據《智能湧現》報導,字節開始重組數據團隊,成立了與 Seed 和 Flow 平行的一級 AI 部門 「AI 數據與安全」。

前文也已提到,多數人不認為蒸餾這套方法構成長期壁壘。大模型領域真正有可能形成強壁壘的是數據飛輪。

數據也已成為一個高價值的獨立環節。如美國公司 Mercor,主要業務就是幫大模型公司找科學家、各學科博士等專業人士做數據構造、標註和模型評估任務。據報導,今年 7 月,Mercor 正在以 200 億美元估值尋求新一輪融資。

在中國,也有以數據構造為起點的公司,估值已來到 30 億美元。

在我們關於 「字節不做蒸餾」 的那條獨家報導之下有這樣一條留言:他(張一鳴)可能不是最懂技術的,但大機率是最懂人性的。

沒人能輕易踩下剎車

當別人指責你犯錯時,你回敬 「你不也曾這樣嗎?」 並不解決矛盾。

此時此刻,開源模型在性能上越發逼近最領先的閉源模型。而且客觀事實是,最強的開源模型來自中國,最強的閉源模型來自美國。

此前,智譜已在 2025 年 1 月被美國商務部列入實體清單。同年底生效的《2026 財年情報授權法》則要求從美國情報系統、國家安全系統和相關供應商中移除 DeepSeek。

到今年 4 月,美國眾議院國土安全委員會和美中戰略競爭特別委員會開始調查美國企業使用中國模型的情況,問 Cursor 為何要把 Kimi K2.5 當做 Composer 的底座,問 Airbnb 為何要在客服業務中使用阿里 Qwen。

7 月 16 日 Kimi K3 發佈後,據報導,美國政府正考慮限制乃至禁止部分中國開源模型。7 月 24 日,微軟、輝達、Meta、Fireworks AI 等 77 家公司和機構陸續聯名簽署公開信《開放權重與美國 AI 領導力》,反對倉促限制開源模型。

黃仁勳在 Twitter 的第一條推文就是分享這封公開信。

(晚點LatePost)

最近幾個月的新限制手段仍在討論中,尚未落地。

Anthropic、OpenAI 和 Google 等公司也正採取更嚴苛的技術手段識別和封禁疑似用於蒸餾的帳號。比如 Anthropic 稱,它已經建立了識別蒸餾流量的分類器和行為指紋系統,可以發現跨帳號協同、重複提問以及套取思維鏈的行為;同時會加強對教育、研究和創業公司帳號的身份驗證。

前文提到的圖賓根大學的 「stealing reasoning tracks」 研究中還原推理軌跡的方式,已被這個研究團隊報告給相關閉源模型公司,在他們上傳文章時,其中的部分方法已失效。

參與其中的各方都在做出自己的選擇和準備,而接下來的變化會改變從算力、雲服務、Infra、再到模型、應用和客戶部署的整個產業鏈條。

風暴還在繼續,下一個風眼不一定還是蒸餾,它本身也只是優化模型的方法之一。

這麼多公司投入這麼多資源,如此爭先恐後地投入這場智能競賽,是為了什麼?今年上半年,是編程和 Agent 的爆發式增長,扭轉了市場預期。再往後,如果大模型應用擴散的規模與速度無法接續,那麼,模型研發競賽的未來會如何波動?這是另一些人已經在關心的問題。(晚點LatePost)