不用等R2了!第三方給新版DeepSeek V3加入深度思考,推理101秒破解7米甘蔗過2米門

DeepSeek即將發佈R2??坊間傳聞越來越多了,且難辨真假

1.2T兆參數,5.2PB訓練資料,高效利用華為晶片……只能說如果有一半是真的都很牛了。


HuggingFace創始人此時推薦“以不變應萬變”,打開官方認證帳號的更新提醒,就能第一時間獲取通知。


拋開具體洩露資料是否精準,大家似乎有一個共識:如果真的有R2,它的基礎模型會是新版DeepSeek V3-0324

之所以有很多人相信R2會在4月底發佈,有一部分原因也是出於R1與V3之間相隔了一個月左右。

現在,等不及DeepSeek官方,開源社區已經開始自己動手給V3-0324加入深度思考了


新模型DeepSeek-R1T-Chimera,能力與原版R1相當,但速度更快,輸出token減少40%,也是基於MIT協議開放權重。

相當於擁有接近R1的能力和接近V3-0324的速度,結合了兩者的優點。

而且做到這一點,不是靠微調或蒸餾,而是DeepSeek V3-0324和R1兩個模型融合而成。

R1+V3融合模型

新模型R1T-Chimera並非DeepSeek官方出品,而是來自德國團隊TNG Technology Consulting


該團隊此前也探索過可調專家混合(MoTE)方法, 讓DeepSeek-R1在推理部署時可以改變行為。

新的R1T-Chimera模型權重可在HuggingFace下載,也可以在OpenRouter免費線上試玩。

目前已知是選用了V3-0324的共享專家+R1與V3-0324的路由專家的混合體融合而來。


TNG團隊表示最終結果令人驚訝,不僅沒有表現出融合模型的缺陷,相反,思考過程還比原版R1更緊湊有序。


暫沒有技術報告或更詳細的模型融合方法公佈,要驗證它是否符合描述,就只能拉出來試一試了。

我們選用最新折磨AI的難題“7米長的甘蔗如何通過2米高1米寬的門?”

原版R1思考了13秒就下了結論;R1T Chimera在這裡卻足足思考了101秒,最終計算出可以通過。

雖然還是無法像人類一樣直觀的理解三維空間,讓甘蔗與門的平面垂直就可通過,但依然通過計算夾角與投影得出了結論。

在這100秒時間裡R1T-Chimera如何一步步思考出答案呢?

展開推理token可以發現,在簡單計算二維方案不可行後,它就已經想到了三維方案。

後面依然陷入了各種誤區,在旋轉甘蔗、彎曲甘蔗、計算“門的厚度”上走了彎路。

最終通過“揣摩出題人心理”走進正確的路線。

最終給出的答案非常嚴謹了。

雖然人類直覺上就能想出把甘蔗垂直起來通過這個方法,但仔細一想,題目中確實沒有給出“門後有多少空間這個條件”。

細還是AI細。

關於R1T-Chimera的更多細節,大家還在等TNG團隊消息和更多第三方基準測試結果。


不過也有人注意到,KIMI K1.5技術報告中也探索了模型融合方法。

不過在實驗中,這種簡單融合方法表現並不如這篇論文中提出的Long2short強化學習方法。

另一個在模型融合上有經驗的團隊是Transformer作者Llion Jones創辦的Sakana AI。

早在24年初就結合進化演算法提出以block為單位融合的方法。

隨著更多團隊跟進這一路線,模型融合會不會成為2025年大模型的一大技術趨勢呢? (量子位)