就在剛剛，網上已經出現了一波復現DeepSeek的狂潮。
UC伯克利、港科大、HuggingFace等紛紛成功復現，只用強化學習，沒有監督微調，30美元就能見證「啊哈時刻」！
全球AI大模型，或許正在進入下一分水嶺。

這些天，矽谷徹底處於中國公司帶來的大地震餘波中。

全美都在恐慌：是否全球人工智慧的中心已經轉移到了中國？

就在這當口，全球復現DeepSeek的一波狂潮也來了。

誠如LeCun所言：「這一次，正是開源對閉源的勝利！」

在沒有頂級晶片的情況下，以極低成本晶片訓出突破性模型的DeepSeek，或將威脅到美國的AI霸權。

大模型比拚的不再是動輒千兆美元的算力戰。

OpenAI、Meta、Google這些大公司引以為傲的技術優勢和高估值將會瓦解，輝達的股價將開始動搖。

種種這些觀點和討論，讓人不禁懷疑：數百億美元支出，對這個行業真的必要嗎？甚至有人說，中國量化基金的一群天才，將導致納斯達克崩盤。

從此，大模型時代很可能會進入一個分水嶺：超強性能的模型不再獨屬於算力巨頭，而是屬於每個人。

30美金，就能看到「啊哈」時刻

來自UC伯克利博士生潘家怡和另兩位研究人員，在CountDown遊戲中復現了DeepSeek R1-Zero。

實驗中，團隊驗證了通過強化學習RL，3B的基礎語言模型也能夠自我驗證和搜尋。

更令人興奮的是，成本不到30美金（約217元），就可以親眼見證「啊哈」時刻。

這個項目叫做TinyZero，採用了R1-Zero演算法——給定一個基礎語言模型、提示和真實獎勵訊號，運行強化學習。

然後，團隊將其應用在CountDown遊戲中（這是一個玩家使用基礎算術運算，將數字組合以達到目標數字的遊戲）。

模型從最初的簡單輸出開始，逐步進化出自我糾正和搜尋的策略。

在以下示例中，模型提出瞭解決方案，自我驗證，並反覆糾正，直到解決問題為止。

在消融實驗中，研究人員運行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四種參數規模）。

結果發現，0.5B模型僅僅是猜測一個解決方案然後停止。而從1.5B開始，模型學會了搜尋、自我驗證和修正其解決方案，從而能夠獲得更高的分數。

他們認為，在這個過程，基礎模型的是性能的關鍵。

他們還驗證了，額外的指令微調（SFT）並非是必要的，這也印證了R1-Zero的設計決策。

這是首個驗證LLM推理能力的實現可以純粹通過RL，無需監督微調的開源研究

基礎模型和指令模型兩者區別：

指令模型運行速度快，但最終表現與基礎模型相當

指令輸出的模型更具結構性和可讀性

此外，他們還發現，具體的RL演算法並不重要。PPO、GRPO、PRIME這些演算法中，長思維鏈（Long CoT）都能夠湧現，且帶來不錯的性能表現。

而且，模型在推理行為中非常依賴於具體的任務：

對於Countdow任務，模型學習進行搜尋和自我驗證

對於數字乘法任務，模型反而學習使用分佈規則分解問題，並逐步解決

蘋果機器學習科學家Yizhe Zhang對此表示，太酷了，小到1.5B的模型，也能通過RL湧現出自我驗證的能力。

港科大助理教授何俊賢的團隊（共同一作黃裕振、Weihao Zeng），只用了8K個樣本，就在7B模型上復刻出了DeepSeek-R1-Zero和DeepSeek-R1的訓練。

結果令人驚喜——模型在複雜的數學推理上取得了十分強勁結果。

項目地址：https://github.com/hkust-nlp/simpleRL-reason

他們以Qwen2.5-Math-7B（基礎模型）為起點，直接對其進行強化學習。

整個過程中，沒有進行監督微調（SFT），也沒有使用獎勵模型。

最終，模型在AIME基準上實現了33.3%的精準率，在AMC上為62.5%，在MATH上為77.2%。

這一表現不僅超越了Qwen2.5-Math-7B-Instruct，並且還可以和使用超過50倍資料量和更複雜元件的PRIME和rStar-MATH相媲美！

其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基礎模型上僅使用純PPO方法訓練的，僅採用了MATH資料集中的8K樣本。

Qwen2.5-7B-SimpleRL則首先通過Long CoT監督微調（SFT）作為冷啟動，然後再進行強化學習。

在這兩種方法中，團隊都只使用了相同的8K MATH樣本，僅此而已。

大概在第44步的時候，「啊哈時刻」出現了！模型的響應中，出現了自我反思。

並且，在這個過程中，模型還顯現了更長的CoT推理能力和自我反思能力。

在部落格中，研究者詳細剖析了實驗設定，以及在這個強化學習訓練過程中所觀察到的現象，例如長鏈式思考（CoT）和自我反思機制的自發形成。

與DeepSeek R1類似，研究者的強化學習方案極其簡單，沒有使用獎勵模型或MCTS（蒙特卡洛樹搜尋）類技術。

他們使用的是PPO演算法，並採用基於規則的獎勵函數，根據生成輸出的格式和正確性分配獎勵：

如果輸出以指定格式提供最終答案且正確，獲得+1的獎勵

如果輸出提供最終答案但不正確，獎勵設為-0.5

如果輸出未能提供最終答案，獎勵設為-1

該實現基於OpenRLHF。初步試驗表明，這個獎勵函數有助於策略模型快速收斂，產生符合期望格式的輸出。

第一部分：SimpleRL-Zero（從頭開始的強化學習）

接下來，研究者為我們分享了訓練過程動態分析和一些有趣的湧現模式。

如下所示，所有基準測試的精準率在訓練過程中都在穩步提高，而輸出長度則呈現先減少後逐漸增加的趨勢。

經過進一步調查，研究者發現，Qwen2.5-Math-7B基礎模型在初始階段傾向於生成大量程式碼，這可能源於模型原始訓練資料的分佈特徵。

輸出長度的首次下降，是因為強化學習訓練逐漸消除了這種程式碼生成模式，轉而學會使用自然語言進行推理。

隨後，生成長度開始再次增加，此時出現了自我反思機制。

基準測試精準率（pass@1）和輸出長度

彙整鉅亨號中所有使用「7B模型復刻」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

【DeepSeek】全球掀DeepSeek復現狂潮