DeepSeek在“省錢”和“省資源”上達到了變態的程度。
DeepSeek-V4總算來了。
4月24日,DeepSeek官方帳號發佈了一篇名為《DeepSeek-V4 預覽版:邁入百萬上下文普惠時代》的文章。文章中正式宣佈,“全新系列模型 DeepSeek-V4 的預覽版本正式上線並同步開源。”
同時,還介紹:DeepSeek-V4 擁有百萬字超長上下文,在 Agent 能力、世界知識和推理性能上均實現國內與開源領域的領先。模型按大小分為兩個版本:
發佈後,測評、討論已非常充分,不再贅述。
盒飯財經關注到,DeepSeek同步發佈了一篇關於DeepSeek-V4 技術報告。地址如下:https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
這份名為《DeepSeek-V4:Towards Highly Efficient Million-Token Context Intelligence》的技術報告,共55頁,從架構、通用基礎設施、預訓練、訓練後等6個部分介紹了V4。而這份高度專業的技術報告中,隱藏了10個有意思的小彩蛋。
彩蛋一:“Think Max”模式,絕不允許走捷徑的“壓榨”指令
位置:第30頁,Table 3
原文為:
Reasoning Effort: Absolute maximum with no shortcuts permitted. You MUST be very thorough in your thinking... rigorously stress-testing your logic against all potential paths, edge cases, and adversarial scenarios.
翻譯過來,大概的意思就是:
推理投入度:絕對最大化,不容許任何捷徑。你的思考必須極其徹底,全面拆解問題以觸及根本原因,並針對所有可能的路徑、邊緣案例及對抗性場景,對你的邏輯進行嚴苛的壓力測試。要明確寫出完整的深思過程,記錄每一個中間步驟、考慮過的替代方案以及被否決的假設,確保絕對沒有任何未經審視的預設。
這段話是模型開啟 Think Max(極致思考模式)時,後台偷偷塞給大模型的“系統提示詞(System Prompt)”。寫得極具壓迫感,像是一個嚴厲的導師在逼學生榨乾腦力,不準有任何偷懶。
DeepSeek為其式設定了一套極為嚴苛的系統提示詞。用詞極具壓迫感,還全部使用了絕對祈使句:“絕對最大化”“不許走捷徑”“必須徹底”“嚴酷地壓力測試”“不放過任何一個假設”。它還顯式地命令模型“禁止走捷徑”,要求記錄每一個被拒絕的假設和中間步驟。
通過這種極度嚴厲的工程化Prompt,榨乾大模型在 1M Context(百萬上下文)裡的算力去驗證程式碼和邏輯錯誤。這就像是給模型戴上了“邏輯緊箍咒”,確保在處理複雜邏輯或程式碼時,模型不會因為追求速度而忽略細節。
彩蛋二:給硬體廠商的“公開信”:別瞎忙活頻寬了
位置:第16頁,Section 3.1
原文為:
Once bandwidth meets this threshold, it ceases to be the bottleneck, and devoting additional silicon area to further bandwidth brings diminishing returns. We encourage future hardware designs to target such balance points rather than scale bandwidth unconditionally.
意思是:
一旦頻寬達到該閾值,便不再是瓶頸,此時將更多的晶片面積用於進一步提升頻寬,會帶來邊際收益遞減。我們鼓勵未來的硬體設計瞄準這樣的平衡點,而非一味地無條件擴展頻寬。
DeepSeek在報告中反客為主,給輝達和華為等硬體廠商開出了“方子”。體面表達了他們在硬體方面的觀點:盲目提升頻寬對現在的AI訓練效率提升有限,建議廠商把晶片面積留給更能提高計算通訊比的地方。
彩蛋三:極致效率,1M長度下僅需V3.2的10%快取
位置:摘要,Abstract
原文:
In the one-million-token context setting, DeepSeekV4-Pro requires only 27% of single-token inference FLOPs and 10% of KV cache compared with DeepSeek-V3.2.
意思是:
在百萬級token上下文設定下,與DeepSeek-V3.2相比,DeepSeek-V4-Pro僅需其27%的單token推理FLOPs,以及10%的KV快取。
DeepSeek在“省錢”和“省資源”上達到了變態的程度。
通過 CSA(壓縮稀疏注意力)和 HCA(重度壓縮注意力)技術,它在處理100萬字的長文字時,佔用的記憶體竟然只有前代版本的十分之一。這意味著未來個人電腦甚至手機運行百萬超長文字分析將成為可能。
彩蛋四:坦誠的“煉丹玄學”:知其然不知其所以然
位置:第26頁,Section 4.2.3
原文為:
Although a comprehensive theoretical understanding of their underlying mechanisms remains an open question for now, we are sharing them openly to foster further exploration by the community.
意思是:儘管目前對其底層機制的全面理論理解仍是一個懸而未決的問題,但我們將其公開分享,以推動社區的進一步探索。
在Mitigating Training Instability 緩解訓練不穩定性章節中,DeepSeek團隊分享了兩個解決兆參數模型訓練崩潰的獨門絕技,Anticipatory Routing和SwiGLU Clamping。
技術報告中,他們也非常耿直地承認:這種“雖然我不知道原理是啥,但它跑起來確實有用,大家拿去用吧”的坦誠,可以說是AI煉丹界的真實寫照了,非常有開源精神。
彩蛋五:“快指令”(Quick Instruction)特供Token
位置:第33頁,Table 5
<|action|> (判斷是否搜網), <|title|> (生成標題), <|query|> (生成搜尋詞)。
為了讓Chatbot響應更快,DeepSeek在模型內部植入了一系列專用Token“暗號”。
V4之所以能這麼快,是因為它直接復用了已經算好的長文字 KV Cache(快取)。不用像以前那樣把幾十萬字重新喂給另一個小模型去判斷,從而徹底消除了“冗餘的預填充(redundant prefilling)”,這樣使用者的等待時間就能大幅縮短。
彩蛋六:Codeforces全球排名第23位
位置:第39頁,Section 5.3.2
原文為:On the Codeforces leaderboard, DeepSeek-V4-Pro-Max currently ranks 23rd among human candidates.
這句話的意思是,在 Codeforces 排行榜上,DeepSeek-V4-Pro-Max 當前在人類參賽者中位列第23名。
這個“彩蛋”極具含金量。在純人類參與的全球頂級程式設計競賽Codeforces排名中,DeepSeek-V4的預估分值(3206分)足以排到全球第23名。這意味著它已經超越了絕大多數頂級程式設計師,進入了人類程式設計智力的最頂端一小撮。
彩蛋七:內部“員工大調查”,52%的人已離不開它
位置:第44頁,Section 5.4.4
原文為:
In a survey asking DeepSeek developers and researchers (𝑁= 85) — all with experience of using DeepSeek-V4-Pro for agentic coding in their daily work— whether DeepSeek-V4-Pro is ready to serve as their default and primary coding model compared to other frontier models, 52% said yes, 39% leaned toward yes, and fewer than 9% said no.
翻譯過來是:
在一項面向DeepSeek開發者和研究人員的調查(N=85)中,這些受訪者均有在日常工作中使用DeepSeek-V4-Pro進行智能體編碼的經驗。當被問及與其他前沿模型相比,DeepSeek-V4-Pro是否已準備好成為他們默認且主要的程式設計模型時,52%給出了肯定回答,39%傾向於肯定,而表示否定的不足9%。
DeepSeek非常罕見地公開了公司內部85名頂尖研究員的真實反饋。超過一半的DeepSeek內部核心人員已經將其作為日常首選程式設計工具。這種“吃自己的狗糧”的行為比跑分資料更能說明模型在實際生產中的情況。
彩蛋八:內部員工的真實“吐槽”被寫進技術報告
位置:第44頁,Section 5.4.4
原文:
Respondents find DeepSeek-V4-Pro to deliver satisfactory results across most tasks, but note trivial mistakes, misinterpretation of vague prompts, and occasional over-thinking.
翻譯過來就是:
受訪者認為DeepSeek-V4-Pro在大多數任務上都能給出令人滿意的結果,但也指出它存在一些細小的錯誤、對模糊提示的理解偏差,以及偶爾的過度思考。
這句話緊挨著上一條“內部員工調查”的彩蛋,DeepSeek選擇把內部員工的吐槽也寫了進去。
彩蛋九:親民的“中國特色”評測題
位置:第43頁,Figure 13
為了展示模型在複雜長文字白領工作中的能力,DeepSeek放出的示例任務非常親民。
“寫一份某知名奶茶品牌與北京地鐵的聯名行銷策劃”“UGC傳播與社交裂變設計”,比起國外大模型測寫全英文的莎士比亞詩歌,DeepSeek的評測題真的很懂國內打工人的日常PPT需求。
彩蛋十:致謝名單裡的神秘測試Dolly Deng
位置:第55頁,附錄 A.2 致謝部分
附錄 A.2 致謝(Acknowledgment)部分,除了全體作者外,團隊特別單獨點名感謝了一位非作者人士:“We would like to thank Dolly Deng and other testers for their valuable suggestions and feedback...”
翻譯過來就是,我們要感謝 Dolly Deng 及其他測試人員,就DeepSeek-V4系列模型的能力所提出的寶貴建議與反饋。
能在這樣一份AI基礎模型技術報告中被單獨拎出來感謝的測試(或外部反饋者),不知道他在V4內測期間提交了怎樣關鍵的Bug或改進建議。 (盒飯財經)
