【新智元導讀】OpenAI o1和o3模型的秘密，竟傳出被中國研究者「破解」？今天，復旦等機構的這篇論文引起了AI社區的強烈反響，他們從強化學習的角度，分析了實現o1的路線圖，並總結了現有的「開源版o1」。

就在今天，國內的一篇論文，引得全球AI學者震驚不已。

推上多位網友表示，OpenAI o1和o3模型背後究竟是何原理——這一未解之謎，被中國研究者「發現」了！

註：作者是對如何逼近此類模型進行了理論分析，並未聲稱已經「破解」了這個問題

實際上，在這篇長達51頁的論文中，來自復旦大學等機構的研究人員，從強化學習的角度分析了實現o1的路線圖。

其中，有四個關鍵部分需要重點關注：策略初始化、獎勵設計、搜尋和學習。

此外，作為路線圖的一部分，研究者還總結出了現有的「開源版o1」項目。

論文地址：https://arxiv.org/abs/2412.14135

概括來說，像o1這樣的推理模型，可以被認為是LLM和AlphaGo這類模型的結合。

首先，模型需要通過「網際網路資料」進行訓練，使它們能夠理解文字，並達到一定的智能水平。

然後，再加入強化學習方法，讓它們「系統地思考」。

最後，在尋找答案的過程中，模型會去「搜尋」解決方案空間。這種方法既用於實際的「測試時」回答，也用於改進模型，即「學習」。

值得一提的是，斯坦福和Google在2022年的「STaR: Self-Taught Reasoner」論文中提出，可以利用LLM在回答問題之前生成的「推理過程」來微調未來的模型，從而提高它們回答此類問題的能力。

STaR讓AI模型能夠通過反覆生成自己的訓練資料，自我「引導」到更高的智能水平，理論上，這種方法可以讓語言模型超越人類水平的智能。

因此，讓模型「深入分析解決方案空間」的這一理念，在訓練階段和測試階段都扮演著關鍵角色。

在這項工作中，研究者主要從以下四個層面對o1的實現進行了分析：策略初始化、獎勵設計、搜尋、學習。

策略初始化使模型能夠發展出「類人推理行為」，從而具備高效探索複雜問題解空間的能力。

問題分析、任務分解和自我糾正等學習能力

獎勵設計則通過獎勵塑造或建模提供密集有效的訊號，指導模型的學習和搜尋過程。

結果獎勵（左）和過程獎勵（右）

搜尋在訓練和測試中都起著至關重要的作用，即通過更多計算資源可以生成更優質的解決方案。

MCTS等樹搜尋方法探索多種解決方案

搜尋過程中使用的指導類型：內部指導、外部指導，以及兩者的結合

從人工專家資料中學習需要昂貴的資料標註。相比之下，強化學習通過與環境的互動進行學習，避免了高昂的資料標註成本，並有可能實現超越人類的表現。

從高品質搜尋解決方案克隆行為

綜上，正如研究者們在2023年11月所猜測的，LLM下一個突破，很可能就是與GoogleDeepmind的Alpha系列（如AlphaGo）的某種結合。

對此，有網友表示，這項研究的意義絕不僅僅是發表了一篇論文，它還為大多數模型打開了大門，讓其他人可以使用RL來實現相同的概念，提供不同類型的推理反饋，同時還開發了AI可以使用的劇本和食譜。

研究者總結道，儘管o1尚未發佈技術報告，但學術界已經提供了多個o1的開源實現。

此外，工業界也有一些類似o1的模型，例如 k0-math、skywork-o1、Deepseek-R1、QwQ和InternThinker。

g1：這項研究可能是最早嘗試重新實現o1的項目。

Thinking Claude：與g1類似，但它通過更複雜和細粒度的操作來提示LLM。

Open-o1：項目提出了一個SFT資料集，其中每個響應都包含CoT。研究者推測，這些資料可能來自人類專家或一個強大的LLM。

o1 Journey：通過兩篇技術報告中進行了詳細描述。第一部分通過束搜尋生成的樹資料進行遍歷，特定節點由GPT-4最佳化後用於SFT，這一策略可以被描述為專家迭代。第二部分則嘗試對o1-mini進行蒸餾，並通過prompt來恢復隱藏的CoT過程。

Open-Reasoner：框架類似於AlphaGo，通過強化學習提升模型性能。

慢思考與LLM：研究同樣分為兩篇技術報告。第一部分與Open-Reasoner類似，結合了強化學習和測試時的搜尋。第二部分從QwQ和Deepseek-R1中蒸餾，並嘗試了兩種強化學習方法。

Marco-o1：項目將Open-o1的資料與模型自身通過MCTS演算法生成的資料結合，用於SFT訓練。

o1-coder：項目嘗試在程式碼生成領域重新實現o1。

同開源o1項目在策略初始化、獎勵設計、搜尋和學習領域的方法對比

在強化學習中，策略定義了智能體如何根據環境狀態選擇行動。

其中，LLM的動作粒度分為三種等級：解決方案等級、步驟等級和Token等級。

智能體與環境在LLM強化學習中的互動過程

對於LLM的初始化過程，主要包括兩個階段：預訓練和指令微調。

在預訓練階段，模型通過大規模網路語料庫的自監督學習，發展出基本的語言理解能力，並遵循計算資源與性能之間的既定冪律規律。

在指令微調階段，則是將LLM從簡單的下一個Token預測，轉變為生成與人類需求一致的響應。

對於像o1這樣的模型，融入類人推理行為對於更複雜的解決方案空間探索至關重要。

預訓練通過大規模文字語料庫的接觸，為LLM建立基本的語言理解和推理能力。

對於類似o1的模型，這些核心能力是後續學習和搜尋中發展高級行為的基礎。

語言理解與生成：語言理解是分層次發展的——句法模式較早湧現，而邏輯一致性和抽象推理則在訓練的後期階段逐步形成。因此除了模型規模外，訓練時長和資料組成也至關重要。

世界知識獲取與儲存：知識儲存具有高效的壓縮和泛化特性，而抽象概念相比事實性知識需要更廣泛的訓練。

基礎推理能力：預訓練通過多樣化的推理模式發展了基礎推理能力，後者以從簡單推斷到複雜推理的層次結構逐步湧現。

指令微調通過在多領域的指令-響應對上進行專門訓練，將預訓練語言模型轉變為面向任務的智能體。

這一過程將模型的行為從單純的下一個Token預測，轉變為具有明確目的的行為。

效果主要取決於兩個關鍵因素：指令資料集的多樣性和指令-響應對的質量。

#o1路線圖 你可以在這裡找到鉅亨號中所有使用「o1路線圖」為關鍵字所發布的內容