DeepSeek大爆出圈，現在連夜發佈新模型——

多模態Janus-Pro-7B，發佈即開源。

在GenEval和DPG-Bench基準測試中擊敗了DALL-E 3和Stable Diffusion。

想必大家這幾天完全被DeepSeek刷屏了吧。

它長時間霸榜熱搜第一，甚至AI第一股輝達直接被幹崩了——最大跌幅近17%，一夜蒸發5890億美元（約合人民幣4.24兆元），創下美股單日跌幅最大紀錄。

而Deepseek神話還在繼續，春節假期中全國人民都開始體驗了，Deepseek伺服器還一度卡到當機。

值得一提，同一夜，阿里旗下大模型通義千問Qwen也更新了自己的開源家族：

視覺語言模型Qwen2.5-VL，包括3B、7B 和 72B三種尺寸。

真~今夜杭州都不睡，起舞競速大模型。

先來看看DeepSeek新模型，這其實是此前Janus、JanusFlow的高級版本和延續。

一作為博士畢業於北大的陳小康。

具體來說，它基於DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base建構的，是一個統一理解和生成的多模態大模型。整個模型採用自回歸框架。

它通過將視覺編碼解耦為單獨的路徑來解決以前方法的侷限性，同時仍然使用單一、統一的轉換器架構進行處理。

這種解耦不僅緩解了視覺編碼器在理解和生成中的角色衝突，還增強了框架的靈活性。

對於多模態理解，它使用SigLIP-L作為視覺編碼器，支援 384 x 384 圖像輸入。對於圖像生成，Janus-Pro使用LIamaGen中的VQ標記器，將圖像轉換為離散的ID，下採樣率為16。

ID序列被扁平化為一維後，他們使用生成介面卡將每個ID對應的程式碼庫嵌入對應到 LLM 的輸入空間中。然後，將這些特徵序列連接起來，形成一個多模態特徵序列，隨後將其輸入 LLM 進行處理。

除了 LLM 內建的預測頭，還在視覺生成任務中使用隨機初始化的預測頭進行圖像預測。

相較於前一個版本Janus的三個訓練階段，團隊發現這一訓練策略並不理想，會大大降低計算效率。

對此，他們做了兩處大的修改。

第一階段Stage I的長時間訓練：增加了第一階段的訓練步驟，以便在 ImageNet 資料集上進行充分的訓練。研究結果表明，即使在 LLM 參數固定的情況下，模型也能有效地模擬像素依賴性，並根據類別名稱生成合理的圖像。

第二階段Stage II:的集中訓練：在第二階段，放棄了 ImageNet 資料，直接利用常規文字到圖像資料來訓練模型，以生成基於密集描述的圖像。

此外在第三階段的監督微調過程中，還調整了不同類型資料集的資料比例，將多模態資料、純文字資料和文字圖像資料的比例從 7:3:10 調整為 5:1:4。

通過略微降低文字到圖像資料的比例發現，這一調整可以讓在保持強大的視覺生成能力的同時，提高多模態理解性能。

最終結果顯示，實現了與現有視覺理解生成SOTA模型持平的水準。

與上一個版本 Janus相比，它可以為簡短提示提供更穩定的輸出，具有更好的視覺質量、更豐富的細節以及生成簡單文字的能力。

更多多模態理解和視覺生成能力的定性結果。

想必這兩天一定是被DeepSeek刷屏了——

是科技圈非科技圈、七大姑八大姨都擱那討論的程度。

像同為杭州六小龍的遊戲科學，其創始人CEO、《黑神話：悟空》製作人也專門發微博支援：頂級科技成果，六大突破。

還有DeepSeek自稱MOSS，也被流浪地球導演郭帆注意到了。

好好好，DeepSeek是不是直接預訂下一部主角了（Doge）。

而這故事的一開始，正是前幾天剛剛開放原始碼的推理模型R1，以其低廉的成本、免費的使用以及完全不輸o1的性能，征服了全球使用者，直接引發行業地震。

僅僅花費560萬美元訓練的R1，相當於Meta GenAI團隊任一高管的薪資，在很多AI基準測試中已經達到甚至超越OpenAI o1模型。

而且DeepSeek是真的免費，而ChatGPT雖然在免費榜上，但要是想解鎖它的完全體，還是要掏上200美元。

於是乎，大家開始紛紛轉向DeepSeek來“建構一切”，也就迅速登頂美區蘋果應用程式商店免費App排行第一，超越了ChatGPT和Meta的Threads等熱門應用。

使用者量的激增也導致DeepSeek伺服器多次當機，官方不得不緊急維護。

而聚焦於行業內，大家對於DeepSeek的關注，在於如何在有限的資源成本情況下，實現與OpenAI持平的水準。

相比於國外動輒百億千億美元成本、幾十上百萬張卡這種粗放的模式，用DeepSeek很多技術細節都放在如何降低成本開銷上。

比如蒸餾。R1總共開源了6個在R1資料上的蒸餾小模型，蒸餾版Qwen-1.5B都能在部分任務上超過GPT-4o。

還有就是純強化學習，拋棄SFT環節，通過數千次的強化學習來提升模型的推理能力，然後在AIME 2024上的得分與OpenAI-o1-0912的表現相當。

也正因為這樣，讓人不免想到OpenAI前幾天砸5000億美元建資料中心以及輝達長時間以來在高端GPU的壟斷地位。

拿5000億美元建資料中心，是有必要的嗎？

大規模的AI算力投資，是有必要的嗎？

這樣的討論，在資本市場得到了響應。美股開盤後，輝達股價暴跌17%，創下自2020年3月以來最大跌幅，市值蒸發近6000億美元，老黃自己的個人財富一夜之間也縮水了超130億美元。

博通、AMD等晶片巨頭也紛紛大幅下跌。

對此，輝達公開回應稱，DeepSeek是一項卓越的人工智慧進展，也是測試時擴展的絕佳範例。DeepSeek的研究展示了如何運用該技術，借助廣泛可用的模型以及完全符合出口管制規定的算力，建立新模型。推理過程需要大量輝達 GPU和高性能網路。如今我們有三條擴展定律：持續適用的預訓練和後訓練定律，以及新的測試時擴展定律。

Meta內部甚至成立了專門的研究小組，試圖剖析DeepSeek的技術細節，以改進其Llama系列模型，並且新年計畫中預算4000億起步搞AI，年底AI算力將達130萬卡。

奧特曼也緊急透露新模型o3-mini即將免費上線ChatGPT的消息，試圖挽回一點市場熱度。

現在有了新模型發佈，關於DeepSeek的討論還在繼續。

DeepSeek新版本疑似很快發佈，時間是2025年2月25日。

就在DeepSeek新模型發佈不久，Qwen也更新了自己的開源家族：

它有3B、7B 和 72B三種尺寸，可以支援視覺理解事物、Agent、理解長視訊並且捕捉事件，結構化輸出等等。

就在剛剛，網上已經出現了一波復現DeepSeek的狂潮。
UC伯克利、港科大、HuggingFace等紛紛成功復現，只用強化學習，沒有監督微調，30美元就能見證「啊哈時刻」！
全球AI大模型，或許正在進入下一分水嶺。

這些天，矽谷徹底處於中國公司帶來的大地震餘波中。

全美都在恐慌：是否全球人工智慧的中心已經轉移到了中國？

就在這當口，全球復現DeepSeek的一波狂潮也來了。

誠如LeCun所言：「這一次，正是開源對閉源的勝利！」

在沒有頂級晶片的情況下，以極低成本晶片訓出突破性模型的DeepSeek，或將威脅到美國的AI霸權。

大模型比拚的不再是動輒千兆美元的算力戰。

OpenAI、Meta、Google這些大公司引以為傲的技術優勢和高估值將會瓦解，輝達的股價將開始動搖。

種種這些觀點和討論，讓人不禁懷疑：數百億美元支出，對這個行業真的必要嗎？甚至有人說，中國量化基金的一群天才，將導致納斯達克崩盤。

從此，大模型時代很可能會進入一個分水嶺：超強性能的模型不再獨屬於算力巨頭，而是屬於每個人。

30美金，就能看到「啊哈」時刻

來自UC伯克利博士生潘家怡和另兩位研究人員，在CountDown遊戲中復現了DeepSeek R1-Zero。

實驗中，團隊驗證了通過強化學習RL，3B的基礎語言模型也能夠自我驗證和搜尋。

更令人興奮的是，成本不到30美金（約217元），就可以親眼見證「啊哈」時刻。

這個項目叫做TinyZero，採用了R1-Zero演算法——給定一個基礎語言模型、提示和真實獎勵訊號，運行強化學習。

然後，團隊將其應用在CountDown遊戲中（這是一個玩家使用基礎算術運算，將數字組合以達到目標數字的遊戲）。

模型從最初的簡單輸出開始，逐步進化出自我糾正和搜尋的策略。

在以下示例中，模型提出瞭解決方案，自我驗證，並反覆糾正，直到解決問題為止。

在消融實驗中，研究人員運行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四種參數規模）。

結果發現，0.5B模型僅僅是猜測一個解決方案然後停止。而從1.5B開始，模型學會了搜尋、自我驗證和修正其解決方案，從而能夠獲得更高的分數。

他們認為，在這個過程，基礎模型的是性能的關鍵。

他們還驗證了，額外的指令微調（SFT）並非是必要的，這也印證了R1-Zero的設計決策。

這是首個驗證LLM推理能力的實現可以純粹通過RL，無需監督微調的開源研究

基礎模型和指令模型兩者區別：

指令模型運行速度快，但最終表現與基礎模型相當

指令輸出的模型更具結構性和可讀性

此外，他們還發現，具體的RL演算法並不重要。PPO、GRPO、PRIME這些演算法中，長思維鏈（Long CoT）都能夠湧現，且帶來不錯的性能表現。

而且，模型在推理行為中非常依賴於具體的任務：

對於Countdow任務，模型學習進行搜尋和自我驗證

對於數字乘法任務，模型反而學習使用分佈規則分解問題，並逐步解決

蘋果機器學習科學家Yizhe Zhang對此表示，太酷了，小到1.5B的模型，也能通過RL湧現出自我驗證的能力。

港科大助理教授何俊賢的團隊（共同一作黃裕振、Weihao Zeng），只用了8K個樣本，就在7B模型上復刻出了DeepSeek-R1-Zero和DeepSeek-R1的訓練。

結果令人驚喜——模型在複雜的數學推理上取得了十分強勁結果。

項目地址：https://github.com/hkust-nlp/simpleRL-reason

他們以Qwen2.5-Math-7B（基礎模型）為起點，直接對其進行強化學習。

整個過程中，沒有進行監督微調（SFT），也沒有使用獎勵模型。

最終，模型在AIME基準上實現了33.3%的精準率，在AMC上為62.5%，在MATH上為77.2%。

這一表現不僅超越了Qwen2.5-Math-7B-Instruct，並且還可以和使用超過50倍資料量和更複雜元件的PRIME和rStar-MATH相媲美！

其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基礎模型上僅使用純PPO方法訓練的，僅採用了MATH資料集中的8K樣本。

Qwen2.5-7B-SimpleRL則首先通過Long CoT監督微調（SFT）作為冷啟動，然後再進行強化學習。

在這兩種方法中，團隊都只使用了相同的8K MATH樣本，僅此而已。

大概在第44步的時候，「啊哈時刻」出現了！模型的響應中，出現了自我反思。

並且，在這個過程中，模型還顯現了更長的CoT推理能力和自我反思能力。

在部落格中，研究者詳細剖析了實驗設定，以及在這個強化學習訓練過程中所觀察到的現象，例如長鏈式思考（CoT）和自我反思機制的自發形成。

與DeepSeek R1類似，研究者的強化學習方案極其簡單，沒有使用獎勵模型或MCTS（蒙特卡洛樹搜尋）類技術。

他們使用的是PPO演算法，並採用基於規則的獎勵函數，根據生成輸出的格式和正確性分配獎勵：

如果輸出以指定格式提供最終答案且正確，獲得+1的獎勵

如果輸出提供最終答案但不正確，獎勵設為-0.5

如果輸出未能提供最終答案，獎勵設為-1

該實現基於OpenRLHF。初步試驗表明，這個獎勵函數有助於策略模型快速收斂，產生符合期望格式的輸出。

第一部分：SimpleRL-Zero（從頭開始的強化學習）

接下來，研究者為我們分享了訓練過程動態分析和一些有趣的湧現模式。

如下所示，所有基準測試的精準率在訓練過程中都在穩步提高，而輸出長度則呈現先減少後逐漸增加的趨勢。

經過進一步調查，研究者發現，Qwen2.5-Math-7B基礎模型在初始階段傾向於生成大量程式碼，這可能源於模型原始訓練資料的分佈特徵。

輸出長度的首次下降，是因為強化學習訓練逐漸消除了這種程式碼生成模式，轉而學會使用自然語言進行推理。

隨後，生成長度開始再次增加，此時出現了自我反思機制。

基準測試精準率（pass@1）和輸出長度

彙整鉅亨號中所有使用「7B」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`