有人離開，更多人留下。DeepSeek 正處在一個變化的關口，從 2025 年下半年至今，明確已離開、找到新去處的 DeepSeek 成員有：去年底被騰訊姚順雨挖走的王炳宣，他是 DeepSeek LLM（DeepSeek 第一代大語言模型）的核心作者，此後參與歷代模型訓練。約在春節前後離開的魏浩然，他是 DeepSeek-OCR 系列的核心作者，可能會入職某大廠。近期正式離職的郭達雅，他是 DeepSeek-R1 的核心作者，可能會入職某大廠。以及 2025 年早些時候離職進入退休狀態的阮翀，他在今年 1 月官宣加入自動駕駛創業公司元戎啟行；阮翀是從幻方時期就加入的老成員，是 Janus-Pro 等 DeepSeek 多模態成果的核心貢獻者。DeepSeek 此前並未融資，沒有明確的公司估值。當其它 AI 公司市值或估值高漲，梁文鋒正在想辦法回答團隊成員的疑問：公司到底值多少錢？這關係著員工簽的期權協議到底價值幾何。從 2025 年秋天起，梁文鋒也開始更多提產品化和商業化。DeepSeek 已有小數十人的產品團隊，但尚未涉足 AI 程式設計、通用 Agent 等熱門應用方向，在 C 端仍只有典型的 Chatbot 產品。梁文鋒的新課題還有管理規模。DeepSeek 的人數已超過幻方，是他管過的最大的組織。籠罩以上多重變化的是，DeepSeek V4 仍未正式發佈。其實在 26 年 1 月左右，V4 的一個小參數版本已給到了一些開源框架社區開始做適配。按此前相對樂觀的預期，大參數版的 V4 原本可能在 2 月中旬春節前後發佈和開源。據瞭解，DeepSeek V4 有可能會在 4 月發佈。有人離開，更多人選擇留下。DeepSeek 在調整，但也有諸多不變的特質。它是全球僅有的 “不卷” 的核心 AI Lab。當 Google、OpenAI、xAI、字節跳動等中美公司的核心 AI 開發人員每周工作 70~80 小時時，平日裡 DeepSeek 的多數員工會在下午 6 點~7 點左右離開公司，他們早上也不打卡。梁文鋒認為，一個人一天能高品質輸出的時間很難超過 6~8 小時。DeepSeek 沒有明確的績效考核和 DDL（截止時間）。這個精簡而人才密度極高的組織依然延續 “自然分工”，研究員可自由組隊或獨自鑽研一些新想法。“除了主線之外，DeepSeek 也有人在做一些可能一年都不會有成效的長期研究。”“DeepSeek 是一個真心想做研究的人，在國內，甚至全球能找到的最好的地方。” 有接近 DeepSeek 的人士說。當然，DeepSeek 還有一個特點：神秘。尤其 2025 年之後，除了公開發佈技術報告外，從創始人梁文鋒到團隊成員集體 “沉默”，在 AI 從業者活躍的社交媒體或社區裡很難聽到他們的聲音。這篇報導裡，我們呈現了從各種管道瞭解到的 DeepSeek 的特點、工作重心、組織運轉方式，和這個不到 200 人的組織正在發生的變化。這一切的源頭，都是梁文鋒為 DeepSeek 設立的獨特目標。梁文鋒其人：做少數事，做到極致梁文鋒的 AI 目標遠早於 DeepSeek 成立的 2023 年。2016 年，AGI 的提出者、DeepMind 創始人哈薩比斯曾組建量化交易團隊，試圖給當時想從 Google 獨立的 DeepMind 創收，結果沒賺到錢。同一年，浙大本碩畢業的梁文鋒做量化投資已經 8 年。他在 2015 年創立幻方，2016 年開始用 GPU 跑深度學習實盤交易，在 2017 年底實現 “幾乎所有交易策略 AI 化”，在 2019 年開始建立幻方的第一個算力叢集，有 1100 張 GPU 的 “螢火 1 號”。也是 2019 年，幻方 AI（幻方人工智慧基礎研究有限公司）正式註冊成立。現在在小米負責 AI 的羅福莉和近期加入元戎的阮翀都是在這之後加入幻方，後在 2023 年轉入 DeepSeek。作為一個不到 30 歲就財富自由的人，梁文鋒的生活簡單而神秘。在周圍人的印象中，他會好多天穿同一件衣服。他在杭州曾長期住酒店，在多數 DeepSeek 研發人員所在的北京則租房住。他身材精瘦、有運動習慣，被人所知的愛好是徒步等戶外運動。黃仁勳會邀請輝達員工去家裡做客，喝小酒、聊家常，開心地展示跑車。而梁文鋒不參與季度團建活動，很少和成員聚餐，年底大團建也只在講話時露面，不會參與全程。2022 年，幻方一位員工 “一隻平凡的小豬” 個人向慈善機構捐助 1.38 億元。後來很多人猜這只小豬就是梁文鋒。幻方工作人員的回覆是：“員工捐款均是匿名，公司內部也不知道小豬的真實身份。”在工作範疇裡，梁文鋒只做少數事。他不做多數初創公司 CEO 做的一些事，如融資。2023 年，梁文鋒小範圍見過一些投資人。但據我們瞭解，他提出了一個不常規的要求：類似 OpenAI 與微軟的投資協議，梁文鋒希望投資方接受一個回報上限。這一輪見下來，沒有機構投資 DeepSeek。之後兩年，中國大模型融資洶湧，頻現數億美元大單輪，梁文鋒卻不再見投資人了，甚至不建立新的聯絡。即使不在融資窗口，大部分創始人也不會拒絕認識一下一線機構合夥人，而梁文鋒拒絕了多數此類請求。梁文鋒幾乎把所有時間投入到他認為應該聚焦的少數事上，做得細緻、做到極致。DeepSeek 此前成功的關鍵之一是 “力出一孔”，明確以語言模型為更高優先順序，沒有做多模態生成等熱門方向。在選定的主線上，梁文鋒會 “hands on” 地深入細節。他從不同背景的團隊成員身上學習演算法、架構、Infra、資料的知識，會自己參與模型和產品的細節討論。見過梁文鋒的不少人提到，他沒有 CEO 或所謂天才的 “氣場”，更像一個研究員，他和人談論最多的是具體技術問題。綠洲資本創始合夥人張津劍曾在《那些活出來的人中》分享了一個小故事，他問自己投資的 MiniMax 創始人閆俊傑：“有比你更專注的人嗎？” 閆俊傑說有一次約一位沒見過的朋友吃飯，到早了，看到一位穿 T 恤的小哥，以為是助理。對方開始沒有自我介紹，問了閆俊傑很多技術問題。過了半小時，閆俊傑說：“梁總什麼時候來？” 對方說：“我就是梁文鋒”。DeepSeek 組織：扁平、交叉分工、不加班與梁文鋒的風格相應，DeepSeek 的組織極其扁平、各環節交叉分工、謹慎擴張規模、不加班。創立幻方時，梁文鋒有合夥人，而 DeepSeek 沒有二把手，尤其在研究團隊，只有梁文鋒和其他研究員兩個層級。梁文鋒做重大決定，承擔最多結果。這部分研究團隊現在約有 100 多人，它像一個大型實驗室。主要在 2000 年前後出生的 DeepSeek 研究員們習慣稱 1985 年出生的梁文鋒為 “梁老闆”。這個老闆更接近導師：組織研發、協調資源，也做具體研究，在共同成果上署名為通訊作者。梁文鋒本人參與最多的是基模架構團隊，會與團隊深入討論後確定每一代基模的架構定版。這個團隊有小幾十人，他們是預訓練的主力。與基模架構密切相關的是 Infra 和資料團隊，各有小幾十人。Infra 團隊在一些公司裡更像完成演算法需求的 “內部乙方”， 而 DeepSeek 的 Infra 團隊會在模型訓練前的定版階段就參與討論、給出建議。這幾個模組間的緊密合作使 DeepSeek 的團隊界限沒那麼涇渭分明，形成了 “交叉分工”。這其實是最符合模型訓練特點的協作形式，因為在模型實驗和定版階段，就要考慮資料選擇和 Infra 實現。梁文鋒是串起這些不同模組的探測器和粘合劑，他會出席每一個團隊各自的會議，瞭解全域進度和卡點。DeepSeek 大部分團隊的周會也向其它團隊的人開放，可跨組參會。深入細節的一號位風格和自發形成的緊密協作都很難在大組織裡實現。所以 DeepSeek 會很謹慎地擴大核心研發團隊的規模。在全球 AI 圈都非常特異的一點是，DeepSeek 不加班。他們不打卡、沒有明確的績效考核，平日多數成員會在 6 點~7 點左右離開公司。DeepSeek 給員工免費提供一些下班後福利，如球類課程、運動場地報銷等。梁文鋒認為：一個人每天能高品質工作的時間很難超過 6~8 小時。加班疲勞下的昏庸判斷反而會浪費寶貴的算力資源，得不償失。在人員構成上，DeepSeek 此前幾乎不社招，以應屆生和實習生留任為主。2025 年初，《晚點》曾梳理當時參與過 DeepSeek 三代模型（LLM、V2、V3&R1）的 172 名研究者（包括實習生），並找到了其中 84 人的履歷：超 7 成的人是本科生和碩士生，超 7 成的人小於 30 歲。在 V3 和 R1 之前，DeepSeek 是以大廠約 1/10 的人數，約 1/2 的人均工作時間，以極高的專注和聚焦，躋身全球大模型第一梯隊。但隨著觸達頂尖 AI 能力需要探索的方向越來越多，繼續保持這種組織規模、溝通方式和協作氛圍已越來越難。過去 15 個月，DeepSeek 繼續做自己，而外部世界急劇變化2025 年初 V3 和 R1 爆火後，DeepSeek  並沒有乘勝追擊放大招，而是沿著他們專注的方向繼續研發，已經公開的成果大致有三類：一是效率最佳化：極致壓榨 GPU 算力，提高單位算力能產出的智能。這包括 DeepSeek 在 2025 年初的開源周釋放的一整套訓練與推理 Infra，涵蓋推理 kernel、通訊庫、矩陣乘法庫和資料處理框架。（註：kernel 是在 GPU 上執行最底層計算的程式碼，用來實現矩陣乘法等核心運算。）還有對 “注意力機制” 的持續改進：如 25 年初的 NSA（原生稀疏注意力）和後續的 DSA（動態稀疏注意力）。加上更早時 V2 中的 MLA（多頭潛在注意力），它們的共同目標，是在不大幅增加算力的前提下處理更長的上下文。從 25 年 9 月底更新的 DeepSeek-V3.2 中還可以看到，DeepSeek 甚至把底層的算子庫從主流的 CUDA 和 Triton 語言換成了 TileLang。CUDA 是輝達提供的最底層語言，Triton 由 OpenAI 開源，TileLang 則是北京大學楊智團隊發起的開放原始碼專案。二是模型架構改進，如 26 年初發佈的 mHC（流行約束超連接），旨在提升大規模訓練中的穩定性；和在模型之外建構長期記憶的 Engram。外界普遍認為，mHC 會被用到 V4 的訓練中。三是一些 “非主流” 探索，如把文字轉成圖片，再輸入給模型的 DeepSeek-OCR，這個思路是讓模型按更接近人類 “看文字” 的方式理解段落與層級，提升對複雜文件的理解力。在 DeepSeek 內部，還有更多進行中的此類嘗試，包括持續學習、自主學習等。梁文鋒還在 2025 年招募了一些神經科學和腦科學背景的顧問，想探索更接近人腦的學習機制。而同期，外部 AI 環境在 2025 年至今急劇變化，最受關注的競爭主線有兩條：一是以 coding 能力為基礎的 Agentic 模型和應用。這是 Anthropic 和 OpenAI 目前競爭最激烈的主戰場，形成了 Opus 4.6 vs GPT-5.4 兩個最新模型，和 Claude Code vs Codex 兩個產品的對陣。年初至今爆火的 OpenClaw 小龍蝦也是 Agentic 應用的最新形態。二是多模態生成，這個領域因 “魔法效果” 屢次出圈：2025 年春天的 OpenAI GPT-4o ，秋天的 Google NanoBanana，再到 2026 年春節前的字節 Seedance 2.0。而視訊生成也與一個更前沿的方向有關，即 “世界模型”。DeepSeek 首先沒怎麼投入多模態生成，因為梁文鋒認為多模態生成不是智能的主線。在 Agent 方向上，DeepSeek-V3.2 強化了 Agent 能力，但 DeepSeek 的整體迭代頻次低於 R1 之後一度深感焦慮其它小虎。2025 年初至今，智譜、MiniMax、Kimi 分別已更新了 5 版、4 版和 3 版模型，針對 Agent 或 coding 強化。據 OpenRouter 資料，過去 30 天（2 月 24 日-3 月 26 日），通過 OpenRouter 呼叫的 OpenClaw 應用的模型 token 消耗前 10 中，6 個模型來自中國，DeepSeek-V3.2 排在第 12。（註：OpenRouter 更反映個人和中小開發者的使用情況，只能作為整體 Token 消耗的參考。）DeepSeek 的目標不是最主流的，有人離開、有人留下DeepSeek 的 “特立獨行”，和梁文鋒認同的 AGI 目標有關，除了追求大模型的智能上限外，他認為還有兩個很重要的工作：一是基於國產生態來做大模型。DeepSeek 會投入對國產 GPU 的適配，以解決高性能 GPU 供給受限的現實。比如他們在去年 8 月更新 V3.1 後提及，DeepSeek 採用的 UE8M0 FP8——這是一種資料壓縮格式——“是針對下一代國產晶片設計”。前文提到的用國產開放原始碼的 TileLang 替代 Triton 也是這類工作，能在基礎層更有主動權。在與 AI 從業者交流時，梁文鋒也曾提過這樣的假設：“能不能用現存的一部分算力，就實現現在所有的智能？”二是 “原創式創新”，做一些大廠或其它創業公司不會去試，不願去試的方向。比如 2024 年下半年，DeepSeek 就開始了 Janus 系列，嘗試統一多模態的理解和生成。DeepSeek 也做過 Prover 系列，探索形式化證明。還有 25 年的 OCR，以及內部在繼續做的持續學習和仿生人腦的探索。作為創始人，梁文鋒最在意的，不僅是模型效果本身，也包括追求效果的路上那些更本質、原創的發現。但這與外界現在對 DeepSeek 的部分期待並不匹配：一些人希望 DeepSeek 每次出手都像 R1 那樣石破天驚，這有些強人所難，也不符合技術規律。梁文鋒可以不在意外部期待，但他必須面對和處理內部期待。對更多年輕的研究員來說，做更多前沿研究，也需要承擔更多不確定性。更保險的路，是持續參與業界最強模型，在那些被關注的技術報告上署名，以及能有豐富的 GPU 資源支撐實驗和探索。除了榮譽和影響力，外界對 DeepSeek 成員的吸引力還有高額的財富承諾。DeepSeek 的絕對薪資不低，但外面給的更高。一些獵頭告訴我們，競爭對手開出了 “難以拒絕的數字”，“翻 2 到 3 倍問題不大”，“其他公司開出 8 位數（算股票或期權）總包”。新變化還有，MiniMax 和智譜上市、股價高漲，階躍、Kimi 的 IPO 也提上日程。這也讓一些 DeepSeek 成員對手中那份沒有明確標價的期權產生更多疑問。面對巨額邀約，更多人選擇留下。他們認可梁文鋒追求 AGI 的方式，願意做並非競爭驅動的探索；也習慣了 DeepSeek 相對寬鬆、從容的研究氛圍。近期外界的一些傳聞並不精準，DeepSeek 團隊雖有變化，但並沒有成組流失。“留下的人多少還是有些理想的。” 有接近 DeepSeek 的人士說，梁文鋒覺得在提升模型效率和性能的主線外，需要做一些當下回報不明確的方向，因為 “國外那些算力更多的公司，如 Google、OpenAI，內部肯定在試各種方向”。至今，DeepSeek 相對小的團隊和成立以來的透明、扁平的氛圍，讓成員之間依然可以自然分工：有時開始一個新方向，就是因為有三五個人都覺得一個 idea 不錯，然後就一起做了。這與梁文鋒 2024 年接受《暗湧》採訪時的描述相呼應：“我們一般不前置分工”，“每個人有自己獨特的成長經歷，都是自帶想法的，不需要 push 他……不過當一個 idea 顯示出潛力，我們也會自上而下地去調配資源。”“DeepSeek 是一個真心想做研究的人，在國內，甚至是全球能找到的最好的地方。” 有接近 DeepSeek 的人士說。改變世界，也被世界改變對 AGI 目標的獨特認知和拆解，是 DeepSeek 的可貴之處，也是它如今面臨內部張力的原因。因為梁文鋒看重的生態建設和原創探索，與業界普遍把 “保持最強” 視為第一優先順序，是重合但並非完全一致的目標。而且大模型發展到今天，“強” 和 “原創性” 的標準越來越模糊而主觀。Benchmark 分數已不能完全衡量模型水平。尤其進入 Agentic 模型競爭後，產品觸手及其帶來的長尾使用案例與多樣化資料變得更重要了，這恰恰是專注於模型研發的 DeepSeek 此前沒有太多投入的地方。即將發佈的 V4，大機率仍是開源最強模型，但很難是碾壓級的強。因為現在不同場景的不同開發者和使用者對 “強” 的標準和體感已越來越多元。什麼是原創的、有價值的新探索，則向來眾說紛紜，取決於不同研究者的經驗、判斷和直覺，所謂 “技術品味”。驗證品味的方式是實驗，而實驗的數量和規模又受限於 GPU 資源。相對於同行，DeepSeek 並沒有那麼多算力。最後，不管是大模型的生態基礎，還是在追求模型效果的過程中，探索其它團隊不一定會試的方向，這些梁文鋒看重的工作的回報都極不明確。前沿研究本該承擔這種不確定性，但它與算力資源有限的事實，與外界對 DeepSeek 能持續驚豔甚至 “碾壓” 的期待不完全匹配。梁文鋒意識到了要改變，近期他開始想辦法給公司估值，給團隊成員更多確定的預期。DeepSeek 也將更多投入產品。我們梳理了 DeepSeek 一位 HR 在社交媒體上從 2024 年 12 月至今發佈的所有招聘啟示，在今年 3 月中旬的最新招聘中，DeepSeek 第一次提及其它具體產品的名稱，要招募 Agent 方向 “模型策略產品經理”：持續跟蹤行業前沿，熟悉並深度使用過 Claude Code、OpenClaw、Manus 等知名 agent……接下來，肯定會看到 DeepSeek 在 Agent 產品上的更多動作。2025 年初，DeepSeek 以慷慨的開源精神和以小博大的奇蹟，震撼了中國和世界，也改變了世界：讓一批同行投入更多精力到模型技術本身，啟發了 Kimi K2 和 K2-thinking 等後續模型，也直接催生了一些新團隊，如陳天橋出資支援的 MiroMind。奇蹟之所以是奇蹟，就是因為它不常發生，是小機率事件。在中國這個崇尚競爭和結果說話的環境裡，敢於追求獨特目標的 DeepSeek 的存在本身，是一個令人驚喜的小機率事件。接觸梁文鋒的人評價：“他是一個特別抗噪音的人。”2025 年 R1 爆火後，梁文鋒顯示了對追捧的淡然。而現在，他面臨另一種情形的考驗：在外部競爭加劇時，分辨噪音與訊號，堅持該堅持的，改變要改變的。“低頭做事的人也許不一定能在浮躁的市場洪流裡笑到最後，但是只有更多 DeepSeek 這樣的公司出現，中國科技才有從 ‘復刻’ 到領跑的可能。” 一位從業者說。這是屬於梁文鋒和 DeepSeek 的工作。而曾被這家公司震動過的更多人，能做的很簡單：卸下爽文敘事，用更多平常心去看待一家公司和技術創新。 (晚點LatePost)

DeepSeek最大的“金主”就是創始人。AI“燒錢”早已不是秘密。在這個領域，無論是科技巨頭還是初創企業，都面臨著巨大的資金壓力，DeepSeek自然也不例外。但令人好奇的是，這家公司既不是大廠，又不接受外部融資，更不上市，它的錢究竟從何而來？答案其實藏在創始人梁文鋒的另一重身份裡：他不僅是DeepSeek的靈魂人物，更是國內頂級量化私募機構幻方量化的掌舵者。在研究經費方面，DeepSeek此前一直依靠幻方支撐。據媒體消息，梁文鋒曾公開表示：“幻方作為出資人之一，有充足的研發預算。”去年，他旗下的幻方量化交出了一份令人矚目的成績單，業內普遍認為，這為DeepSeek提供了源源不斷的資金支援。幻方量化年收益率曝光，梁文鋒贏麻了據私募排排網最新資料，2025年幻方量化的收益均值達56.55%，在中國管理規模超百億的量化私募業績榜中位列第二，僅次於靈均投資的73.51%。另外，私募排排網資料顯示，幻方量化近三年的收益均值為85.15%，近五年的收益均值為114.35%。圖源：私募排排網公眾號在量化投資這個高門檻、高風險的領域，能夠實現如此穩定的高回報，足以證明幻方量化的實力。目前，幻方量化管理規模已超700億元。有業內人士估算，如果按1%的管理費和20%的績效費計算，該基金去年就有可能為公司帶來了超過7億美元（約50億人民幣）的收入。據DeepSeek透露，R1的訓練成本為29.4萬美元，V3模型的總訓練成本預算在557萬美元。按照7億美元的數字計算，即便我們保守估計，未來每一代大模型的訓練和迭代成本呈指數級增長（比如下一代可能需要5000萬甚至上億美元），幻方去年單年產生的現金流也足以支撐十次以上的同等規模研發。當然這都是粗略估算。簡單翻譯一下就是DeepSeek的錢夠花。所以大家不必擔心DeepSeek的彈藥是否充足，有幻方量化在背後支援，DeepSeek在AI研發上至少不用擔心“斷糧”的問題。這或許也是為什麼DeepSeek能夠保持獨立發展，不急於融資上市的原因之一。畢竟，在AI這場長跑中，真正的勝負手往往不是誰跑得最快，而是誰跑得最久。接下來我們再進一步瞭解一下幻方量化。幻方量化是DeepSeek的母公司，天眼查顯示，幻方量化的機構主體為浙江九章資產管理有限公司，由梁文鋒持股85%，鄭達韡、徐進分別持股7.5%。圖源：天眼查梁文鋒的跨界佈局並非偶然。在校期間，梁文鋒就對金融市場產生了極大的興趣，尤其是在2008年全球經濟危機時，他敏銳地捕捉到了機遇，帶領團隊開始探索機器學習技術在全自動量化交易中的應用潛力。2013年，他與浙大校友共同創立了杭州雅克比投資管理有限公司，正式踏上了量化投資的征程。2015年，他們又創辦了杭州幻方科技有限公司（後更名為浙江九章資產管理有限公司），也就是後來大名鼎鼎的幻方量化。所謂量化投資，就是用設定的數學模型和AI進行自動投資，由機器和AI做決策。幻方量化憑藉先進的高頻量化策略，在市場中取得了令人矚目的成績。到2019年，該公司的資金管理規模已超過100億元。2021年，幻方量化的資產管理規模突破千億大關，躋身國內量化私募領域的“四大天王”之列。2019年，梁文鋒在當年的金牛獎頒獎儀式上發表了主題演講《一名程式設計師眼裡中國量化投資的未來》。圖源：中國證券報當時，梁文鋒在演講中表示，“量化投資的未來，是用技術讓市場更有效率”。最後，梁文鋒說幻方量化的使命就是：提高中國二級市場的有效性。在青雲看來，如果把這句話稍作延展，或許也可以用來理解DeepSeek。大模型的價值，並不只是聊天、寫文案，而是用技術提升整個社會的資訊處理效率與決策效率。再結合當下DeepSeek的發展軌跡，就不難理解梁文鋒的整體佈局邏輯。幻方量化負責在一個成熟、可變現的領域中持續創造現金流；DeepSeek則在一個更具想像空間、但短期回報不確定的領域中，探索技術上限。過去一年，梁文鋒高光時刻不斷接下來，我們再把目光看向梁文鋒。在科技圈，他已經嶄露頭角，成為一個無法被忽視的存在。去年春節期間，DeepSeek-R1以開源、低成本、高性能的姿態橫空出世，就像一條鯰魚，改變了AI市場的競爭格局。梁文鋒也以DeepSeek創始人的身份受到了世界的關注，迎來了不少高光時刻。去年3月，美國《時代》周刊公佈2025年全球100最具影響力人物，梁文鋒入選該榜單，同榜單的還有馬斯克、祖克柏等科技圈大佬。圖源：《時代》周刊官網《時代》周刊稱，深度求索（DeepSeek）正式發佈DeepSeek-R1模型，這是第一個足以挑戰OpenAI最新產品的開源模型。8月，美國《財富》雜誌正式發佈2025年全球100位最具影響力商界人士榜單，梁文鋒首次進入榜單，排名第72。《財富》對他的評語是：2025年最震撼的人工智慧突破並非來自OpenAI、Meta或阿里巴巴，而是一家名不見經傳的中國小公司——深度求索（DeepSeek）。這家初創企業以遠少於行業巨頭的資源，開發出媲美甚至超越美國頂尖AI模型的技術成果，震驚全球科技界。真正讓梁文鋒完成“技術圈破圈”的，應該是9月那篇登上《Nature》封面的論文。圖源：Nature在封面推薦中，Nature毫不吝嗇地讚揚了DeepSeek-R1的成就。《Nature》毫不吝嗇讚美之詞，指出當前幾乎所有主流大模型都缺乏獨立同行評審，而DeepSeek“終於填補了這一空白”。在一個充斥著行銷話術、參數對比和模糊表述的行業裡，DeepSeek選擇把模型拆解、方法公開、結果可復現，這在《Nature》看來，是“邁向透明度和可重複性的重要一步”。隨著技術聲望的提升，關於財富和地位的討論也隨之而來。10月，2025胡潤百富榜正式發佈，胡潤特別提到，40歲的DeepSeek創始人梁文鋒本次未上榜，是因為還沒開始商業化，企業估值尚未明確，如果未來商業化成功，參考OpenAI三萬多億元人民幣的價值，胡潤預測，他將成為未來三年中國首富的重要候選人。12月3日，《2025全球獨角獸企業500強報告》發佈，DeepSeek憑藉1.05兆元的估值，力壓阿里雲、螞蟻集團等一眾企業，成為了僅次於字節跳動的中國第二大、全球第六大獨角獸企業。圖源：全球獨角獸企業500強公眾號不過需要強調的是，估值只是估值，並不代表實際價值。12月8日，梁文鋒入選自然2025年度十大科學人物榜單，被評為“科技顛覆者”。當然，高光背後並非沒有陰影。過去一年，DeepSeek也真實地經歷了流量下滑和競爭加劇的壓力。針對DeepSeek流量下滑，360創始人周鴻禕給出了自己的看法和爆料。周鴻禕表示，DeepSeek官網流量下降是因為梁文鋒“就沒想認真做to C的App”，在流量高峰期時，即使網站速度“慢得要死”，梁文鋒也不在乎。周鴻禕還提到，“DeepSeek可能在憋大招“。2025年對梁文鋒而言，既是被世界看見的一年，也是被世界檢驗的一年。光環已經加身，挑戰也已在路上。梁文鋒曾在接受訪談時表示，“我們看到的是中國AI不可能永遠處在跟隨的位置。我們經常說中國AI和美國有一兩年差距，但真實的gap是原創和模仿之差。如果這個不改變，中國永遠只能是追隨者，所以有些探索也是逃不掉的。”他也在繼續探索。今年1月12日，DeepSeek發佈梁文鋒署名的新論文，主題為《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》（直譯為基於可擴展尋找的條件記憶：大語言模型稀疏性的新維度）。當下，關於DeepSeek V4的消息已經在市場中流傳。無論最終發佈時間如何，這都意味著，梁文鋒和他的團隊並沒有停在高光時刻，而是繼續向更難、更遠的方向推進。 (大佬說)

DeepSeek又發論文了。這次的主題有點意思：他們發現，現在的大模型在浪費大量算力做一件很傻的事——用計算來模擬查字典。論文叫《Conditional Memory via Scalable Lookup》，核心是一個叫Engram的模組。這個名字有點意思。Engram是神經科學術語，最早由德國生物學家Richard Semon在1904年提出，指的是大腦中儲存記憶痕跡的物理結構——當你記住"巴黎是法國首都"這個事即時，這條資訊就以某種物理形式（可能是特定的神經連接模式）儲存在你的大腦裡，這個物理痕跡就叫engram。DeepSeek用這個名字，顯然是想說：我們要給大模型裝上真正的"記憶"。說實話，看完之後我挺興奮的——這篇論文的思路非常優雅，而且解決的是一個很根本的問題。更重要的是，它觸及了一個認知科學的經典命題：記憶和思考是什麼關係？先說問題：大模型在浪費算力做"背書"你有沒有想過，當大模型看到"Diana, Princess of Wales"（戴安娜王妃）這個詞的時候，它內部發生了什麼？DeepSeek在論文裡引用了一個很有意思的研究（PatchScope）：模型需要消耗多層Attention和FFN，才能逐步把這個實體識別出來。具體來說，模型處理"Wales"這個詞時的內部狀態演變：看到沒？模型用了6層計算，才把一個固定的歷史人物識別出來。問題在於：這個資訊是靜態的、固定的，根本不需要每次都"計算"出來。"亞歷山大大帝"就是"亞歷山大大帝"，"四大發明"就是"四大發明"，"張仲景"就是"張仲景"。這些固定搭配、命名實體、慣用表達，每次都用神經網路重新計算一遍，是不是有點傻？這就像你每次需要查"中國首都是那"的時候，不是直接查字典，而是從頭推理一遍——中國是個國家，國家有首都，中國的政治中心在...DeepSeek的核心觀點是：大模型浪費了大量的"網路深度"在做這種重複性的靜態知識重建。這些算力本來可以用來做更有價值的事——比如推理。Engram的核心思想：給模型發一本字典想像你在考試。以前的規則是：什麼都不能帶，全靠腦子現場推。"亞歷山大大帝是誰？"你得從頭想——亞歷山大，希臘名字，大帝說明是君主，歷史上有名的希臘君主...現在新規則：允許帶一本字典進考場。字典裡寫著"亞歷山大大帝 = 馬其頓國王，公元前356-323年，征服了波斯帝國"。你直接翻到這一頁，抄上去，省下來的時間做後面的推理題。Engram就是這本字典。具體怎麼查？很簡單：模型看到"Alexander the Great"這三個詞連在一起，就像看到字典的索引詞條。它用一個很快的方法（雜湊）定位到字典裡對應的那一頁，直接把預先存好的資訊拿出來用。整個過程不需要"思考"，只需要"翻頁"。但這裡有個問題：同一個詞在不同場合意思不一樣。比如"蘋果"，可能是水果，也可能是那家科技公司。字典裡存的是那個意思？Engram的解決方案很聰明：查完字典之後，先看看上下文，再決定用不用。如果前面在聊水果，字典裡查出來的"蘋果公司"就不太對勁，模型會自動忽略這個查表結果，繼續用自己的推理。如果前面在聊手機，那字典裡的資訊就很有用，直接採納。這就像一個聰明的學生：帶了字典進考場，但不是無腦抄，而是先判斷字典裡的答案和題目對不對得上。關鍵發現：U型縮放定律這裡是論文最有意思的部分。DeepSeek研究了一個問題：如果總參數量固定，應該把多少參數分配給MoE專家，多少分配給Engram記憶？他們定義了一個"分配比例"ρ：ρ = 100% 表示純MoE（所有稀疏參數都給專家）ρ < 100% 表示把部分參數從專家轉移到Engram實驗結果讓人驚訝：驗證損失呈現U型分佈：純MoE（ρ=100%）不是最優的分配約20-25%給Engram（ρ≈75-80%）效果最好把太多參數給Engram（ρ<50%）效果又變差這個U型曲線說明了什麼？MoE和Engram是互補的：MoE擅長動態的、需要上下文推理的任務Engram擅長靜態的、固定模式的識別兩者缺一不可。純MoE缺少記憶能力，純Engram缺少推理能力。插一段：博爾赫斯早就寫過這個看到這個U型曲線的時候，我突然想起博爾赫斯的一個短篇：**《博聞強記的富內斯》**（Funes the Memorious）。故事講的是一個叫富內斯的阿根廷青年，從馬上摔下來之後，獲得了"完美記憶"的能力——他能記住一切。每一片葉子的形狀，每一朵雲的變化，甚至能記住1882年4月30日黎明時分南方天空的雲綵排列。但博爾赫斯寫道：富內斯無法思考。"思考就是忘記差異，就是概括，就是抽象。在富內斯塞滿了東西的世界裡，只有細節，幾乎是直接感知的細節。"富內斯能記住三個不同時刻看到的同一條狗，但他無法理解"狗"這個概念——因為每一條狗、每一個瞬間的狗，對他來說都是完全不同的東西。他記住了一切，卻失去了抽象的能力。這不就是論文裡U型曲線的左端嗎？當ρ趨近於0（全是Engram，沒有MoE）時，模型有無限的記憶，但失去了推理能力。它能記住"亞歷山大大帝"是誰，但無法用這些知識進行推理。反過來，當ρ=100%（全是MoE，沒有Engram）時，模型有強大的推理能力，但要浪費大量算力重建那些本可以直接記住的東西。博爾赫斯在1942年就洞察到了這一點：記憶和思考是互補的，但也是對立的。完美的記憶會殺死思考，而純粹的思考則需要不斷重新發明輪子。最優解在中間——既有記憶，又有思考。DeepSeek的實驗資料給出了一個驚人精確的答案：大約75-80%給思考，20-25%給記憶。這讓我想到另一個認知心理學的經典概念：**組塊（Chunking）**。1956年，心理學家George Miller發表了著名的論文《神奇的數字7±2》，指出人類工作記憶的容量是有限的，但我們可以通過"組塊"來擴展它。比如記電話號碼138-8888-6666，你不是記11個數字，而是記3個組塊。N-gram本質上就是語言的組塊。"亞歷山大大帝"不是5個字，而是1個組塊。Engram做的事情，就是把這些組塊預先存好，省得每次都要重新計算。人腦早就在這麼幹了。DeepSeek只是讓大模型學會了同樣的技巧。實驗結果：推理能力提升比知識提升更大這是讓我最驚訝的部分。你可能會想：Engram是個"記憶模組"，應該主要提升知識類任務吧？確實，知識任務有提升：MMLU：+3.4CMMLU：+4.0MMLU-Pro：+1.8但推理任務的提升更大：BBH：+5.0ARC-Challenge：+3.7DROP：+3.3甚至程式碼和數學也有顯著提升：HumanEval：+3.0MATH：+2.4GSM8K：+2.2等等，一個"記憶模組"為什麼能提升推理能力？機制分析：為什麼"記憶模組"能提升推理？這是我最想搞明白的問題。DeepSeek做了一個很有意思的實驗：他們"偷看"模型每一層在想什麼。具體方法是：把每一層的中間結果拿出來，問它"你現在覺得下一個詞是什麼？"。如果這一層已經很接近最終答案，說明模型在這一層就基本"想明白了"。結果很直觀：有Engram的模型，在很早的層就"想明白了"；沒有Engram的模型，要到很深的層才行。為什麼？因為沒有字典的模型，前面幾層都在忙著做一件事：搞清楚"亞歷山大大帝"是誰。它得一層一層地拼湊——這是個人名，是個歷史人物，是個國王，是馬其頓的國王...等它終於搞清楚這是誰了，已經用掉了5、6層。剩下的層才能開始真正的推理。但有字典的模型不一樣。第2層的時候，Engram直接告訴它："亞歷山大大帝 = 馬其頓國王，征服者"。好了，搞定，後面20多層全部用來推理。這就像兩個學生做同一張卷子：一個學生得先花20分鐘背公式，再用40分鐘做題。另一個學生帶了公式表，60分鐘全用來做題。誰的推理題做得更好？顯然是第二個。DeepSeek還做了一個更精確的測量：Engram模型第5層的"思考深度"，相當於普通模型第12層的水平。換句話說，Engram相當於免費給模型加了7層深度。這就解釋了為什麼推理能力提升這麼大——不是Engram本身能推理，而是它把推理的空間讓出來了。長上下文能力也炸了還有個意外收穫：處理長文章的能力暴漲。有個測試叫"大海撈針"——在一篇很長的文章裡藏一句關鍵資訊，看模型能不能找到。為什麼字典能幫助處理長文章？想像你在讀一本很長的小說。如果你每次看到"福爾摩斯"都要停下來想"這是誰來著..."，讀到後面肯定記不住前面的劇情。但如果"福爾摩斯 = 偵探，住貝克街221B"這個資訊已經存在字典裡，你的注意力就可以全部用來追蹤劇情——誰殺了誰，線索在那，凶手是誰。Engram處理了"這是誰"的問題，Attention就可以專注於"發生了什麼"的問題。相當於給大腦減負了。系統設計：字典可以放在抽屜裡這裡體現了DeepSeek一貫的風格：理論創新和工程落地並重。繼續用考試的比喻。MoE（專家模型）的問題是：每道題都要"現場"決定找那個專家來答，這個決定本身就要花時間。但字典不一樣。你看到"亞歷山大大帝"，就知道要翻到A開頭那一頁。你不需要先讀完整道題，才知道去查那個詞條。這意味著什麼？意味著字典可以提前準備好。模型還在處理第1層的時候，系統就已經知道第2層要查什麼詞條了。所以可以提前把那一頁準備好，等模型算到第2層的時候，字典已經翻開擺在那兒了。更妙的是：字典不需要放在桌上，放在抽屜裡也行。GPU視訊記憶體很貴，就像桌面空間有限。但CPU記憶體便宜得多，就像抽屜容量大得多。既然可以提前知道要查什麼，那就提前從抽屜裡把那一頁拿出來，等用的時候已經在桌上了。DeepSeek做了個實驗：把一本1000億參數的"字典"放在抽屜裡（CPU記憶體），結果：只慢了2% ，但多了1000億參數的知識。這就是為什麼Engram可以做得很大——字典放抽屜裡就行，不佔桌面。門控可視化：確實在識別固定模式論文最後有個很直觀的可視化：紅色表示門控值高（Engram被啟動），白色表示門控值低（Engram被忽略）。可以看到，門控在這些地方啟動："Alexander the Great"（亞歷山大大帝）"the Milky Way"（銀河系）"Princess of Wales"（威爾士王妃）"四大發明""張仲景""傷寒雜病論"全是命名實體和固定搭配。Engram確實在做它該做的事：識別靜態模式。往大了說：DeepSeek在開一條新路回到開頭的問題：這篇論文的意義是什麼？過去幾年，大家都在一個方向上卷：怎麼讓模型算得更聰明。MoE讓不同的專家處理不同的問題，Attention讓模型看到更遠的上下文，更深的網路讓推理更複雜。但不管怎麼卷，本質上都是在最佳化"計算"。DeepSeek說：等等，有些問題根本不需要算，查一下就行了。這個思路其實很符合直覺：人腦也不是什麼都靠推理，很多時候就是直接呼叫記憶。你看到"1+1"不需要推理，直接輸出"2"就行。論文最後一句話很有意思："We envision conditional memory as an indispensable modeling primitive for next-generation sparse models."翻譯過來：我們認為條件記憶會成為下一代稀疏模型的基礎元件。DeepSeek在押注一個新的架構方向。最後：記憶與思考的平衡回到開頭的問題：記憶和思考是什麼關係？博爾赫斯用富內斯告訴我們：完美的記憶會殺死思考。認知心理學告訴我們：人腦用組塊來平衡記憶和思考的負擔。現在DeepSeek用實驗資料告訴我們：最優的比例大約是75%計算 + 25%記憶。這個數字讓我覺得很有意思。它意味著，即使是"智能"系統，也不能全靠"聰明"——你得記住一些東西，才能把腦力用在更值得思考的地方。這篇論文給我最大的啟發是：有時候最好的最佳化不是讓計算更快，而是把計算變成查表。O(1)的查表永遠比O(n)的計算快。如果一個問題的答案是固定的、可以預先算好存起來的，那就沒必要每次都重新算。這個道理在電腦科學裡叫"空間換時間"。但在大模型領域，過去幾年大家都在卷MoE、卷Attention、卷更深的網路，似乎忘了還有"記憶"這條路。DeepSeek的Engram提醒我們：大模型不是越大越好、也不是越深越好，關鍵是把合適的任務分配給合適的模組。靜態知識 → 查表（Engram）動態推理 → 計算（MoE）就像人腦一樣：你不需要每次看到"1+1"都重新推導，直接從記憶裡調出"2"就行了。省下來的腦力，用來思考更有價值的問題。富內斯記住了一切，卻無法思考。純MoE模型能夠思考，卻要浪費算力重建記憶。最聰明的系統，是知道什麼該記住、什麼該思考的系統。 (花叔)

一覺醒來，DeepSeek又發新論文了！仔細一看作者，梁文鋒的名字也赫然出現在其中。這篇論文題為《通過可擴展尋找實現的條件記憶：大型語言模型稀疏性的新維度》，重點在於提出了 Engram ——這是一種條件記憶模組，旨在通過將靜態模式儲存與動態計算在結構上分離，來增強 Transformer 骨幹網路。論文的給出的實驗資料也相當驚豔：1、Engram 在知識、推理、程式碼和數學任務上能夠帶來顯著性能提升，均超過純MoE模型。2、存在U形擴展規律：純 MoE性能次優，將 20–25% 的稀疏參數分配給 Engram，效果最佳。3、長上下文能力提升明顯，能釋放注意力用於全域模式和複雜推理。程式碼和論文全文均已開源：論文地址：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf程式碼地址：https://github.com/deepseek-ai/Engram為什麼大語言模型需要 Engram ？稀疏性（sparsity）一直是智能系統的核心設計原則，無論是生物大腦的神經回路，還是現代大語言模型都在用它來“省資源”。在 AI 裡，這個思想最常見的體現就是混合專家模型（MoE）——也就是通過“條件計算”讓模型只啟動部分參數，從而在不增加太多計算量的情況下，把模型容量放大好幾倍。MoE 是目前推進參數規模和能力擴展的關鍵技術之一，DeepSeek 自家系列模型（如 DeepSeek V2、DeepSeek V3 等）也採用了先進的 MoE 方法進行擴展訓練。但 MoE 也有其侷限性。語言本身非常複雜，至少包含兩類截然不同的任務：組合式推理：需要深層、動態的神經計算，比如理解複雜句子結構或推理問題；知識檢索：大量文字都是高度固定、重複的內容，比如命名實體、固定表達、程式化模式。論文中提出，經典的𝑁-gram 模型已經證明，處理這種局部、重複的語言規律，用“查表”效率最高，幾乎不需要動深層神經網路。然而現在的 Transformer 並沒有這種原生“查表能力”，所以模型每次要識別一個常見的多 token 實體，都要消耗好幾層注意力和前饋網路，這就像在執行階段重複重建一個靜態字典，既浪費計算，又佔用模型的“序列深度”，原本可以用來做更高級的推理。Engram是如何實現的？為瞭解決上述問題，DeepSeek提出了一個新的稀疏化方向——條件記憶，專門用來儲存和尋找固定知識。它和 MoE 的條件計算完全互補：MoE 負責動態推理和組合邏輯；Engram 負責靜態知識，直接查表就行。Engram是神經科學中的一個核心概念，意為“記憶痕跡”，它是一個可擴展、可尋找的記憶模組，用於語言模型在推理過程中過去可能已經見過的模式或片段。在具體實現上，Engram模組通過 O(1) 的尋找複雜度將靜態模式儲存從動態計算中分離出來，採用了四項核心技術：現代化的雜湊 N-gram 嵌入、分詞器壓縮、上下文門控以及多分支融合技術。具體來看：1、分詞器壓縮：預先計算對應函數，將語義等價但 ID 不同的詞項（如 "Apple" 和 "apple"）折疊為統一識別碼，將有效詞表大小減少了 23%。· 多頭2、雜湊檢索：利用局部上下文（N-grams）作為鍵，通過雜湊函數在巨大的嵌入表中檢索靜態向量。3、上下文感知門控：這是 Engram 的關鍵創新。利用當前層的隱藏狀態作為 Query，與檢索到的記憶體進行語義匹配。如果檢索內容與上下文矛盾，門控值會趨近於零，從而抑制雜湊衝突帶來的噪聲。4、混合分枝整合：專門針對多分枝架構（如 mHC）進行了最佳化，通過參數共享策略（共享 Embedding 表和 Value 投影，保持獨立 Key 投影）平衡了表達能力與計算效率。Engram 通常會插在 Transformer 的前期層，比如 Layer 2 或 Layer 6。這樣做的好處是：一方面可以把靜態模式的重建工作解除安裝掉，減輕骨幹網路的負擔；另一方面又能保留足夠的上下文資訊，讓門控機制更聰明地判斷那些記憶該用，那些該忽略。Engram 的記憶容量並不是越大越好，它需要和 MoE 專家容量精心配比。按照 Sparsity Allocation（稀疏性分配）法則，合理劃分兩者比例，既保證大模型的參數利用率，又最大化計算效率——簡單來說，就是讓每一份記憶和每一位專家都發揮最大作用。實驗結果很驚豔：推理、程式碼、長上下文能力顯著提升論文把 Engram 擴展到 270 億參數，嚴格對齊 MoE 基線的參數和 FLOPs。結果顯示：知識密集型任務（MMLU、CMMLU、MMLU-Pro）：性能提升 1.8–4.0 分不等；通用推理任務（BBH、ARC-Challenge、DROP）：提升更明顯，最高 +5 分；程式碼和數學能力（HumanEval、MATH、GSM8K）：平均提升 2–3 分。值得注意的是，Engram 在知識密集型任務中明顯優於純 MoE 模型。原因很直觀：它把靜態模式的記憶交給了高效的尋找機制，而不是每次都用神經網路“重算”，減少了淺層的重複計算。更重要的是，Engram也顯著擴展了長上下文能力，在長文字任務（如 LongPPL、RULER）表現突出，尤其是在多跳檢索、鏈式推理等場景中。例如 Multi-Query NIAH 指標從 84.2 提升到 97.0，Variable Tracking 從 77.0 提升到 89.0。原因是 Engram 處理了大量局部、靜態的依賴，釋放了注意力機制去處理全域上下文，從而在長序列中更穩、更準。此外，團隊還發現了 MoE 和 Engram 容量分配中的U形擴展規律：當 Engram 記憶容量太小或太大時，性能都不理想將 20–25% 的稀疏參數分配給 Engram，效果最佳網友：Engram 可能是 DeepSeek-V4 型號的基礎技術！在Reddit、X等平台上，DeepSeek的新論文也立刻引發了網友的熱烈討論。其中最廣泛的一個猜測就是：Engram 可能是即將推出的 DeepSeek-V4 的基礎技術。很多網友認為，Engram這個方法很有趣，其特點在於讓模型架構處理“記憶模式尋找”和“神經計算推理”兩塊職責分離，從而開啟了新的稀疏性方向。也有網友表示，這種方法比線性注意力機制要好得多。DeepSeek的深夜放大招，也讓部分網友直言：中國大模型團隊的創新性真令人害怕。 (51CTO技術堆疊)

當業界紛紛湧入MoE（Mixture-of-Experts）架構以實現高效擴容時，一個根本性的低效問題卻始終存在：強大的Transformer模型，本質上缺乏一種原生的“知識尋找”機制。它們被迫通過複雜的“動態計算”來模擬簡單的“靜態檢索”過程。例如，為了識別“戴安娜王妃”這樣的實體，模型需要消耗多層注意力與前饋網路資源，逐步建構其內部表徵。這無異於用高射炮打蚊子，浪費了寶貴的計算深度來自DeepSeek 的最新論文，為解決這一難題提出了一個全新的稀疏性維度：條件記憶（Conditional Memory）他們推出名為Engram的新模組，它以O(1)的恆定時間複雜度實現了可擴展的知識尋找，作為對MoE“條件計算”的有力補充。通過系統性研究，團隊揭示了一條指導兩種稀疏性權衡的U形縮放定律。依據該定律，他們建構了一個270億參數的Engram模型，在總參數量與計算量（FLOPs）完全相同的情況下，其性能全面超越了純MoE基線。令人矚目的是，這種提升不僅體現在知識密集型任務上（MMLU +3.4），更在通用推理（BBH +5.0）、程式碼（HumanEval +3.0）和數學（MATH +2.4）等領域取得了更大的收益。機理分析表明，Engram通過接管早期層的靜態模式重構任務，有效“加深”了網路，為複雜推理釋放了更多計算資源。同時，它將局部依賴關係的處理委託給尋找操作，從而解放了注意力機制，使其能更專注於全域上下文，極大地提升了模型的長文字處理能力（如Multi-Query NIAH任務得分從84.2提升至97.0）。更重要的是，Engram的設計充分考慮了系統效率。其確定性的尋找機制支援在執行階段從低速的主機記憶體預取資料，幾乎不產生額外開銷，從而打破了GPU視訊記憶體的瓶頸。論文地址：https://github.com/deepseek-ai/Engram語言模型的雙重任務：計算與檢索語言建模包含兩種性質截然不同的子任務：一是需要深度動態計算的組合推理，二是對本地、靜態、高度模式化的文字片段（如命名實體、慣用語）的知識檢索。經典的N-gram模型證明了，後一種任務通過廉價的尋找操作就能高效完成。然而，當前的LLM架構缺少這種原生尋找功能，導致它們必須通過計算來模擬檢索，造成了資源浪費。為了讓模型架構與語言訊號的這種二元性對齊，DeepSeek提出了“條件記憶”這一新的稀疏軸，與MoE的“條件計算”形成互補。• 條件計算 (MoE)：稀疏啟動參數，處理動態邏輯。• 條件記憶 (Engram)：稀疏尋找操作，檢索靜態知識。研究團隊提出的Engram模組，正是這一理念的具體實現。它以經典的N-gram結構為基礎，並融入了分詞器壓縮、多頭雜湊、上下文門控和多分支整合等現代化改造。Engram架構：兩階段實現高效尋找與融合Engram作為一個條件記憶模組，旨在將靜態模式儲存與動態計算在結構上分離。其工作流程分為兩個核心階段：檢索與融合1. 稀疏檢索：通過雜湊N-grams定位記憶首先，模組需要將局部上下文對應到靜態記憶條目。這包括兩個步驟：分詞器壓縮 (Tokenizer Compression)：標準的分詞器常為語義等價的詞分配不同ID（如Apple vs. apple）。為提升語義密度，Engram首先通過一個預計算的對應函數，將原始Token ID壓縮為規範化的ID。多頭雜湊 (Multi-Head Hashing)：直接參數化所有N-gram組合是不現實的。Engram採用基於雜湊的方法，為每個N-gram階數（如2-gram, 3-gram）配備K個獨立的雜湊頭，將上下文雜湊到不同嵌入表中的索引，以降低衝突。最終，所有檢索到的嵌入向量被拼接成一個記憶向量et。2. 上下文感知門控與融合檢索到的記憶向量et是靜態的、上下文無關的先驗知識，可能存在雜湊衝突或歧義。為瞭解決這個問題，Engram引入了受注意力機制啟發的上下文感知門控它將當前層的隱藏狀態ht（已聚合了全域資訊）作為Query，將記憶向量et投影為Key和Value。通過計算Query與Key的相似度，生成一個門控標量αt。這個標量決定了檢索到的資訊與當前上下文的匹配程度：如果匹配度低，門控值趨近於0，有效抑制噪聲。最後，通過門控的Value向量會經過一個輕量級的深度因果摺積，以擴大感受野並增強非線性。最終的輸出通過殘差連接融入到Transformer主幹網路中核心發現：稀疏性分配的U形定律為了量化MoE（計算）與Engram（記憶）之間的協同作用，研究人員提出了稀疏性分配問題：在固定的總參數和計算預算下，應如何在這兩者之間分配“稀疏容量”？他們定義了一個分配比例ρ，其中ρ=1代表純MoE模型，ρ<1則代表將一部分原用於MoE專家的參數轉而分配給Engram的嵌入表。實驗在兩個不同的計算規模（2e20和6e20 FLOPs）下進行，結果揭示了一條清晰的U形縮放定律：MoE主導 (ρ → 100%)：模型缺乏專門的記憶模組，被迫低效地通過計算重構靜態模式Engram主導 (ρ → 0%)：模型喪失了條件計算能力，無法處理需要動態、上下文相關推理的任務最佳平衡點：將大約20%-25%的稀疏參數預算分配給Engram時，模型性能達到最優。這一穩定的U形關係證明了條件計算和條件記憶在結構上的互補性。此外，在“無限記憶體”設定下，單獨增加Engram的記憶槽數量，模型性能也呈現出可預測的對數線性提升，證明了Engram是一個有效的、可獨立擴展的性能提升手段。大規模預訓練：性能全面超越，推理提升更顯著基於上述定律，研究團隊訓練了一系列模型，並與嚴格對等的基線進行比較。所有模型均在262B Tokens上訓練，並保持啟動參數量（3.8B）一致。Engram-27B：總參數26.7B，與MoE-27B基線相同。它將MoE專家的數量從72個減少到55個，並將節約的參數（5.7B）用於建構Engram記憶模組。Engram-40B：在Engram-27B基礎上，進一步將Engram記憶擴展至18.5B參數，總參數達到39.5B。實驗結果（Table 1）表明：1.稀疏模型優於密集模型：所有稀疏變體（MoE與Engram）均顯著優於同等計算量的Dense-4B模型2.Engram全面超越MoE：在參數和計算量完全匹配的情況下，Engram-27B在所有評估維度上都優於MoE-27B3.推理與程式碼數學領域增益尤為突出：雖然Engram在知識任務（如MMLU +3.4, CMMLU +4.0）上表現出色，但其在通用推理（BBH +5.0, ARC-Challenge +3.7）和程式碼數學（HumanEval +3.0, MATH +2.4）上的優勢更為顯著這證明了引入專用的知識尋找原語，能夠極大地提升模型的表徵效率，其益處遠不止於知識檢索本身。Engram如何工作？機理分析揭示“有效深度”增加為了探究Engram的內部工作機制，研究團隊使用了LogitLens和CKA（中心核對齊）兩種可解釋性工具。加速預測收斂：LogitLens分析顯示，與MoE基線相比，Engram模型的淺層網路就能生成更接近最終預測結果的表徵（KL散度更低）。這表明，通過直接尋找知識，Engram減少了模型逐步建構特徵所需的計算步驟提升有效深度：CKA分析則揭示了Engram模型與MoE模型之間的層間表徵相似性。結果顯示，Engram模型的淺層（如第5層）在功能上等價於MoE模型的深層（如第12層）結論很明確：Engram通過顯式尋找繞過了早期的特徵組合階段，在功能上等價於增加了模型的有效深度系統效率：解耦計算與儲存，打破GPU視訊記憶體牆Engram的一個關鍵優勢在於其系統設計。與依賴執行階段隱藏狀態進行動態路由的MoE不同，Engram的尋找索引完全由輸入Token序列決定，具有嚴格的確定性這一特性使得在推理時可以實現高效的 預取-重疊（prefetch-and-overlap） 策略：系統可以在GPU計算前序Transformer塊的同時，非同步地從大容量、低成本的主機記憶體（DRAM）甚至NVMe SSD中預取後續Engram層所需的嵌入。實驗在一個1000億參數的Engram層上進行了驗證。結果顯示，將整個嵌入表解除安裝到主機記憶體，所帶來的吞吐量懲罰峰值僅為2.8%，幾乎可以忽略不計。這證明了Engram能夠有效繞過GPU視訊記憶體限制，以極小的開銷實現參數規模的激進擴展。這意味著可以用較少/較低配的GPU（視訊記憶體有限）來運行一個總參數量極大的模型。這大大降低了模型的部署和使用成本寫在最後DeepSeek AI的Engram工作，為大模型稀疏化設計開闢了一個全新的、與MoE互補的軸線——條件記憶。通過將靜態知識檢索從動態計算中剝離，Engram不僅在知識任務上取得優勢，更在推理、程式碼、數學等複雜任務上實現了超預期的性能提升。這項研究的核心貢獻包括：1. 提出Engram模組：一個可擴展、系統高效的條件記憶實現。2. 發現稀疏分配的U形定律：為平衡計算與記憶提供了理論指導。3. 驗證了架構優勢：在同等參數和計算成本下，混合模型全面超越純MoE模型。4. 揭示了工作機理：Engram通過提升模型的“有效深度”來最佳化表徵效率。研究人員認為，條件記憶應成為下一代稀疏大模型不可或缺的建模原語，為建構更強大、更高效的智能系統鋪平了道路。我彷彿已經看到了v4的影子 (AI寒武紀)

這一記憶架構有望成為新的Scaling路徑。智東西1月13日報導，昨晚，DeepSeek又開源了，還發佈一篇新論文。這次，他們提出了一種全新的“條件記憶”機制——Engram，旨在讓MoE模型在保持巨量參數的同時，更高效地處理語言資訊。DeepSeek創始人兼CEO梁文鋒、北大王選電腦研究所的趙東岩和張輝帥教授都在論文中署名。Engram架構的核心優勢在於以更低成本實現更優性能。訓練計算量較MoE減少18%的情況下，在32768個token的長上下文任務中，Engram在RULER基準測試中反超同參數量MoE模型。並且，其淺層部署的記憶模組接管局部依賴與靜態知識儲存，為注意力機制騰出容量以專注全域推理，1000億參數記憶表解除安裝後使H800推理吞吐量降幅不足3%。DeepSeek還觀察到，增加記憶槽位數量能持續、穩定地降低驗證損失，這意味著Engram提供了一個可預測的Scaling新手段：增大記憶容量持續帶來收益，而無需增加計算量。那這種效果究竟是如何實現的呢？如今的MoE模型雖然在計算層面做到了稀疏化，但是它處理資訊的方式仍然很費勁：有些老生常談的事實性內容，比如常見的名字、公式或固定表達，模型卻要重複計算，非常耗時間。DeepSeek的做法是，把這些“固定知識”提前整理成一個可以快速查詢的表格，這樣就能把更多精力放在真正需要深度思考的任務上，比如複雜推理或者理解長段文字。值得一提的是，論文的第一作者Xin Cheng（程信）目前在北京大學智能學院攻讀博士學位，主要研究大模型的高效參數化方法和機制。他同時也在DeepSeek工作，R1、V3的研究都參與了，很有可能是實習生。在論文摘要中，DeepSeek提出，條件記憶（conditional memory）將成為下一代稀疏模型中不可或缺的建模原語。這或許意味著DeepSeek-V4有望整合條件記憶機制，實現知識高效檢索與推理能力的飛躍。論文連結：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf項目連結：https://github.com/deepseek-ai/Engram01. Transformer缺乏知識檢索機制 經典𝑁-gram架構提供啟發在正式介紹新型記憶機制前，DeepSeek團隊首先提出了一項重要的觀察。稀疏性已經成為了智能系統的核心設計原則，在大模型領域，其具體實現就是MoE（混合專家模型）。但是，現有的標準Transformer本質上沒有真正的知識檢索機制，導致現有大模型不得不在早期層中通過昂貴計算來“重建”靜態知識，浪費了寶貴的模型深度。因此，DeepSeek認為有必須要提出第二個與條件計算互補的稀疏維度：條件記憶。條件記憶則依賴稀疏的尋找操作，為固定知識檢索靜態嵌入表示，適合命名實體、固定表達等靜態且高度模式化的語言表示。DeepSeek他們向經典的𝑁-gram結構引入了現代化的條件記憶模組，包括分詞器壓縮、多頭雜湊、上下文化門控以及多分支整合等，最終提出了Engram。下圖是Engram的基本架構，通俗地說，Engram就是給Transformer加個外接記憶庫，並把當前token附近的一小段內容，用快速、省參數的方式，去一個超大的靜態記憶表裡查到對應內容。02. 多管齊下打造新型記憶機制 天然支援參數儲存與計算資源解耦這個記憶庫該如何具體實現呢？首先，DeepSeek團隊對分詞器（tokenizer）進行了壓縮。普通的分詞器會把Apple、apple、APPLE這些單詞當成完全不同的東西，但是對人來說其實差別不大。Engram先把詞表清洗了一遍，全部轉小寫，Unicode規範化（NFKC）。最後，一個原本128k的詞表，實際只剩下77%，有23%的token ID被合併了。這讓N-gram記憶的密度明顯提升了。不過，直接對所有𝑁-gram進行建模是不可行的，參數會指數級增長。DeepSeek團隊引入了多頭雜湊記憶（Multi-Head Hashing），在固定參數預算下近似大規模𝑁-gram表，降低雜湊碰撞引入的語義噪聲。上述檢索機制提供的記憶是靜態的，缺乏上下文適應性，易受歧義與衝突的影響，這一問題可通過上下文感知門控（Context-aware Gating）來解決。為進一步擴大感受野並增強非線性建模能力，模型還引入了一個深度可分離因果摺積。DeepSeek團隊採用多分支架構作為默認主幹網路，而非標準的單流殘差連接（這是何愷明此前的研究成果）。多分支架構把殘差流擴展為M個平行分支，但共享記憶表和輸出對應。這樣設計的好處是，它可以一次性用矩陣乘法搞定多條分支的計算，GPU用得非常高效。Engram的核心優勢在於記憶檢索完全依賴輸入token，而非執行階段的隱藏狀態。這種確定性機制實現了參數儲存與計算資源的解耦，支援訓練和推理階段採取專門的最佳化策略：▲Engram訓練和推理階段可採用不同最佳化策略訓練最佳化：通過將超大嵌入表分片至多張GPU，利用All-to-All通訊按需收集對應行，使總記憶容量隨GPU數量線性擴展。推理最佳化：由於可提前確定待查詢記憶，系統可從主機記憶體非同步預取，同時在前幾層計算期間隱藏通訊延遲，實現預取與計算的重疊，避免GPU停頓。硬體-演算法協同設計：Engram在模型中的放置位置需平衡建模性能與系統延遲。較早引入有助於局部模式重建，較深放置則延長延遲隱藏窗口，需兼顧二者最佳化。層次化儲存：基於自然語言𝑁-gram的Zipf分佈特性，可採用多級快取策略，高頻嵌入存放於GPU HBM或主機DRAM，低頻嵌入置於SSD。這使Engram能擴展至超大規模記憶，同時保持低延遲與高效率。03. 兩個模組資源二八分成 互補性獲驗證接下來，DeepSeek團隊研究了另一個關鍵問題——條件計算和條件記憶這兩種稀疏模式該怎麼配合，才能發揮最佳效果？實驗發現，在有限資源下，把所有空閒參數都給MoE（也就是純MoE模型）不是最優解，最好的效果是大約75%-80%給MoE，其餘20%-25%給Engram。如果完全由MoE主導，模型缺乏靜態模式的專用記憶，只能靠計算反覆重建，效率低。而如果完全由Engram主導，模型失去了動態計算能力，無法應對需要上下文理解的任務。這條U型曲線，驗證了兩個模組的結構互補性：前面這一實驗探索的是在固定參數參數預算下的分配最佳化，那麼如果把記憶大幅度擴展，會發生什麼？實驗發現，在MoE主幹網路不變的情況下，附加Engram表。結果顯示，增加記憶槽位數量能持續、穩定地降低驗證損失。在探索範圍內，曲線嚴格遵循冪律（對數空間線性）。DeepSeek認為，這意味著Engram提供了一個可預測的Scaling新手段：增大記憶持續帶來收益，而無需增加計算量。同時，相比別的只做簡單平均的記憶方法（比如OverEncoding），Engram的Scaling潛力更大，性能提升更明顯。這些結果驗證了條件記憶作為稀疏容量的獨立可擴展維度，與MoE的條件計算形成互補。04. 架構訓練計算量少18% 性能反超MoE驗證了架構、技術路徑的可行性，DeepSeek團隊的下一步就是進行大規模的Scale，驗證這種方式在實際語言模型預訓練中的有效性。具體而言，DeepSeek訓練了四個模型：Dense-4B、MoE-27B、Engram-27B、Engram-40B。訓練時的語料庫、分詞器都使用了相同的設定，而後兩個模型引入了Engram機制，用於研究在模型大小不變和Engram進一步擴展後的特性。結果顯示，在相同算力和參數量的情況下，Engram-27B能在MoE-27B的基線上去取得持續提升，並且這些增益並不僅限於知識密集型任務。通用推理任務、程式碼與數學推理任務從中得到的提升甚至更為顯著，這些結果支援了DeepSeek的假設：引入專門的知識尋找原語（knowledge lookup primitive）能夠提升表示效率，這超出了僅將整個稀疏預算用於條件計算所能達到的效果。最後，將模型擴展到Engram-40B進一步降低了預訓練損失，並在大多數基準上提升了性能。雖然它尚未在每個任務上嚴格優於Engram-27B，但這很可能是訓練不足的結果。DeepSeek團隊觀察到，在訓練結束時，Engram-40B與基線模型之間的訓練損失差距仍在擴大，這表明在當前的token預算下，擴展的記憶容量尚未完全發揮其潛力。接著，DeepSeek團隊用MoE-27B與Engram-27B作為對照組，均使用了5000步（約300億token）的高品質長上下文資料進行微調，然後他們採用DeepSeek-V3中的YaRN技術，將模型的上下文窗口擴展到32768個token。實驗結果顯示，由於Engram模組接管了局部依賴的建模，它為模型的注意力機制騰出了容量，使其能更專注於處理全域上下文。因此，Engram架構在處理超長文字和長程推理任務上比傳統架構表現更好，具體表現如下：在架構方面，在排除了基礎模型能力差異的情況下，Engram-27B依然顯著優於MoE-27B。在複雜的檢索任務RULER基準測試中，Engram表現出了更強的長程依賴處理能力。例如在多查詢Multi-Query NIAH任務中，Engram精準率大幅領先。▲長上下文性能比較基準測試計算效率方面，即使只用了82%的預訓練計算量，Engram-27B的表現依然能與完全訓練的MoE-27B基線模型持平，甚至在RULER基準上實現超越。這證明了Engram架構具有極高的訓練效率，能用更少的計算資源達到同等或更好的長上下文性能。05. Engram淺層效果更好 對事實性知識影響較大而後，DeepSeek團隊對Engram模型進行了深入的機制分析和消融實驗。核心目的是回答“Engram到底是如何工作的？它的各個元件有什麼用？”這兩個問題。首先是模型深度與表徵分析，DeepSeek團隊通過LogitLens分析顯示，Engram模型在早期層就能更快地收斂到最終預測結果，因為它通過查表直接獲取了靜態知識，不需要像傳統模型那樣通過多層計算來重組基礎特徵。▲表徵對齊和收斂速度分析中心核對齊分析發現，Engram的淺層在表徵上與純MoE模型的深層高度相似。這意味著Engram讓模型在更少的層數內完成了同等複雜的特徵提取，在功能上等同於增加了模型的有效深度。在架構消融實驗中，研究人員發現將Engram模組放在較淺的層，如第2層，效果最好。這樣可以儘早解除安裝模型背負的局部模式重建任務，讓後面的深層網路專注於複雜的全域推理。▲結構消融實驗結果研究人員還發現，分支特定融合、上下文感知門控和分詞器壓縮對性能影響最大，去掉任何一個都會導致驗證損失顯著上升，而次要元件輕量級摺積層的影響則較小。如果把Engram“關掉”，模型在那些任務上會崩潰？為回答這個問題，DeepSeek團隊進行了功能敏感性分析。他們測試在推理時強制遮蔽Engram模組的輸出，觀察性能下降情況。結果顯示，在事實性知識方面，模型性能災難性下降，僅保留約29-44%的性能。這證明Engram是模型儲存參數化知識的主要倉庫。️但在閱讀理解方面，模型性能幾乎不受影響，保留約81-93%。這證明涉及上下文推理的任務主要由Transformer的骨幹網路處理，而非記憶模組。▲功能敏感性分析結果在系統效率與推理吞吐上，由於Engram的訪問模式是預先可知的，不像MoE需要根據隱藏狀態動態路由，系統可以提前從記憶體中預取資料。即使將一個1000億參數的Engram表解除安裝到主機記憶體，其在H800硬體上的推理吞吐量下降也不到3%，這證明了Engram能以極低的代價實現參數量的大幅擴展。此外，Engram的門控機制會在遇到靜態模式時被啟動，即變紅。具體表現為當模型遇到多詞實體、固定短語或中文成語以及歷史名詞時，Engram會被啟動進行檢索；而在處理需要動態推理的文字時，其門控則保持關閉。▲門控機制啟動06. Engram內化記憶 與Attention機制互補最後，DeepSeek團隊將Engram與MoE、外部記憶與檢索增強、長上下文建模以及表徵學習與知識蒸餾進行了對比。傳統MoE是Engram的“前輩”，它通過稀疏啟動來擴展模型容量。Engram解決了傳統MoE在超大規模下路由成本高、訓練不穩定的問題，提供了一種更高效的擴展路徑。對比外部記憶與檢索增強（RAG）這類工作通常是在模型外部掛一個資料庫，在推理時即時檢索。而Engram是內化的記憶，它在預訓練階段就把海量知識消化並固化到了參數化的記憶表中，這使得它比傳統RAG具有更低的延遲和更強的知識一致性。長上下文建模這一領域的研究則主要關注如何讓模型的注意力機制處理更長的序列。DeepSeek團隊強調，Engram並不是要取代注意力機制，而是與之互補。Engram負責處理局部的、靜態的上下文依賴，從而讓注意力機制能更專注於處理全域的、動態的長程依賴。對於表徵學習與知識蒸餾來說，Engram提供了一種新的視角——將模型的知識解耦為通用推理能力和特定知識庫。這種解耦結構天然適合進行知識蒸餾，因為未來的研究團隊可以選擇只蒸餾輕量級的骨幹網，而將龐大的知識庫作為可插拔的附件。07. 結語：Engram將實現 低成本超大規模擴展，逼近AGIEngram架構的核心思想就是通過解耦來實現效率與性能的平衡。它成功地將“局部模式重建”從複雜的Transformer骨幹網中剝離出來，交由專門的記憶模組處理。這種設計使得模型在保持強大推理能力的同時，能夠以極低的成本擴展到超大規模。DeepSeek團隊認為，Engram不僅僅是一個學術上的新模型，它具有很強的工程落地價值。由於記憶模組的訪問具有確定性，Engram可以進行高效的預取和硬體最佳化，非常適合大規模部署。而且，既然知識集中在Engram表中，未來或許可以通過直接修改這個表來修正模型的知識錯誤，而無需進行昂貴的微調。但目前的Engram是在預訓練時“固化”的。未來的一個重要方向是讓這個記憶模組具備線上學習或動態更新的能力，讓模型能即時獲取新知識。例如，未來的研究可以將Engram擴展到多模態領域，建立一個通用的多模態記憶庫。研究人員還可以繼續探索是否能將模型解耦為更多專用模組，以進一步逼近AGI（通用人工智慧）的效率。 (智東西)

【新智元導讀】深夜，梁文鋒署名的DeepSeek新論文又來了。這一次，他們提出全新的Engram模組，解決了Transformer的記憶難題，讓模型容量不再靠堆參數！剛剛 ，DeepSeek新論文發佈了，梁文鋒署名！這一次，他們聯手北大直接瞄準了「記憶」，是Transformer最致命的關鍵難題。如今，MoE成為大模型主流架構，但本質仍是Transformer，因其缺少原生「知識尋找」機制，很多檢索能力被迫用大量計算去模擬。33頁論文中，團隊提出了 MoE 互補的「條件記憶」稀疏軸，並通過一種全新的Engram模組去實現：將經典雜湊N-gram嵌入現代化，提供近似O(1)的確定性知識尋找。論文地址：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf通過「稀疏分配」（Sparsity Allocation）建模，他們意外發現MoE與Engram之間，存在「U形scaling law」。這意味著，需調整兩者之間資源比例，讓計算與靜態記憶間找到最優權衡。沿著這個規律，將Engram擴展到27B參數後，並在嚴格等參數、等FLOPs下優於MoE基線。直白講，MoE只解決「怎麼少算」，Engram直接解決「別瞎算」。它把該查的交給 O(1)記憶，把注意力從局部瑣碎中解救出來，結果不只是更會背知識，同時推理、程式碼、數學一起變強。這可能成為稀疏LLM下一條主流路線，更重要的是，下一代V4或將整合這一新方法。不再苦算，給Transfomer插入「電子腦」當前，LLM越做越大已成為「鐵律」，一條熟悉的路徑是——把參數做大，把計算做「稀疏」。混合專家模型（MoE）就是典型代表，每個token只需啟動少量專家，用「條件計算」讓參數規模飆升，FLOPs還能控住。從Artifical Analysis榜單中可以看出，現有的稀疏大模型，主流都是MoE。但問題在於，Transformer缺少一種「原生的知識尋找」能力，所以很多本該像檢索一樣 O(1)解決的事，被迫用一堆計算去「模擬檢索」，效率很不划算。北大和DeepSeek新論文帶來一個很有意思的觀點：稀疏化不只服務「計算」，也可以服務「記憶」。由此，團隊提出了Engram，把語言建模中大量「固定、局部、刻板」的模式，交給一個可擴展的查表模組去承擔。這樣一來，可以讓Transformer主幹把注意力和深度用在更需要「組合與推理」的地方。語言建模，兩類任務論文中，作者明確將語言建模拆成兩類子任務：一部分任務需「組合與推理」：上下文關係、長程依賴、邏輯推理、鏈式推理。另一部分任務更像「模式檢索」：實體名、固定搭配、常見短語、語法片段、重複出現的局部結構後者的一個共同點很明顯，即它們往往局部、穩定、重複出現。若是用多層注意力和FFN去「算」他們，模型做得到，但成本極高，還會擠佔早期層的表達空間。為了識別實體「戴安娜，威爾士王妃」（Diana，Princess of Wales），LLM必須消耗多層注意力和FFN來逐步組合特徵，這個過程理論上是可以通過一次知識尋找操作來完成的。而Engram想做的事情很直接——把這類「局部靜態模式」轉移到一個廉價的知識尋找原語。它用確定性的查表快速給出候選資訊，再由上下文決定是否採納。Engram核心架構：暴力查表+記憶開關Engram一詞源於神經學，本意為「記憶痕跡」，是一種可擴展、可檢索的記憶單元。它可以用於儲存LLM在推理過程中，可能已接觸過的模式、資訊片段。可以將Engram理解為，把經典「雜湊N-gram嵌入」現代化，做成插在Transformer中間層的一個「可擴展查表模組」。如圖1所示，Engram是一個條件記憶模組，旨在通過從結構上將靜態模式儲存與動態計算分離開來，從而增強Transformer骨幹網路。形式化地說，給定輸入序列X=(x_1,...,x_T)和第l層的隱藏狀態H^(l)∈R^Txd，該模組分兩個功能階段來處理每個位置t：檢索和融合。接下來，一起看看Engram的關鍵設計點。基於雜湊N-gram的稀疏檢索第一階段主要負責將局部上下文對應到靜態的記憶條目中，這通過分詞器壓縮（tokenizer compression）和確定性雜湊檢索嵌入來實現。分詞器壓縮為了最大化語義密度，作者引入了一個詞表投影層。他們預先計算了一個滿射函數P:V→V'，利用歸一化的文字等價性（比如NFKC、小寫化等手段）將原始Token ID坍縮成規範識別碼。這個過程能讓128k大小的分詞器有效詞表大小減少23%。多頭雜湊要想直接參數化所有可能的N-grams組合空間，計算上是行不通的。作者採用了一種基於雜湊的方法。為了減少沖突，給每個N-gram階數n分配了K個不同的雜湊頭。每個頭k通過一個確定性函數φ_n,k,將壓縮後的上下文對應到嵌入表E_n,k中的一個索引：上下文感知門控檢索到的嵌入e_t充當的是上下文無關的先驗資訊。不過，它們容易受到雜湊衝突或多義詞帶來的噪聲干擾。為了增強表達力並解決這種歧義，作者採用了一套受注意力機制啟發的上下文感知門控機制。他們利用當前的隱藏狀態h_t作為動態的Query，而檢索到的記憶e_t則作為Key和Value投影的來源：其中W_K，W_V是可學習的投影矩陣。為了保證梯度穩定性，他們在計算標量門α_t∈(0,1)之前，先對Query和Key進行RMSNorm處理：最後，為了擴大感受野並增強模型的非線性，作者還引入了一個短的深度因果摺積：門控可視化為了實證驗Engram是否按預期行為，作者在圖7中可視化了Engram-27B在各種樣本上的門控標量α_t。結果展示了，明顯的選擇性模式。門控機制在完成局部、靜態模式時一致地啟動（顯示為紅色）。在英文中，觀察到在多Token命名實體（如Alexander the Great、the Milky Way）和固定短語（如By the way，Princess of Wales）上有強烈的啟動。關鍵是，這種行為有效地跨語言泛化。在中文demo中，Engram識別並檢索獨特的習語表達和歷史實體，比如「四大發明」和「張仲景」。這些定性結果證實，Engram成功識別並處理了固定的語言依賴關係，有效地將Transformer骨幹網路從記憶這些靜態關聯中解放出來。系統效率：計算與儲存解耦擴展記憶增強型模型往往受限於GPU高頻寬記憶體（HBM）的容量。然而，Engram的確定性檢索機制天生就支援將參數儲存與計算資源解耦。與依賴執行階段隱藏狀態進行動態路由的混合專家模型（MoE）不同，Engram的檢索索引僅取決於輸入的Token序列。這種可預測性為訓練和推理提供了專門的最佳化策略，如圖2所示。訓練階段，為了容納大規模嵌入表，他們採用標準的模型平行策略，將表分片儲存在可用的GPU上。推理階段，這種確定性特性使得「預取和重疊」策略成為可能。U型Scaling Law，揭秘最優分配比Engram作為條件記憶的一種實現形式，在結構上與MoE專家提供的條件計算是互補的。這裡，主要研究了以下兩個關鍵問題：1. 有限約束下的分配2. 無限記憶體場景作者通過三個參數指標來分析MoE和Engram之間的權衡：P_tot:總可訓練參數，不包括詞表嵌和LM頭。P_act：每個Token的啟動參數量。這個數值決定了訓練成本（FLOPs）。P_sparse≜P_tot-P_act：非啟動參數，這代表了「免費」的參數預算，可用於在不增加計算成本的情況下擴展模型規模。作者將分配比例ρ∈[0,1]定義為分配給MoE專家容量的非啟動參數預算的比例：直觀來說：ρ=1對應純MoE模型（所有非啟動參數都是參與路由的專家）。ρ＜1則減少路由專家的數量，並將釋放出來的參數重新分配給Engram嵌入槽位。結果與分析圖3（左）展示了驗證損失與分配比例ρ之間存在一致的U型關係。這種U型關係證實了兩個模組之間的結構互補性：MoE主導（ρ→100）：模型缺乏用於儲存靜態模式的專用記憶體，迫使它只能通過增加深度和計算量來低效地重建這些模式。Engram主導（ρ→0%）：模型失去了條件計算能力，從而損害了那些需要動態、上下文依賴推理的任務；在這種場景下，記憶無法替代計算。接下來，作者探索了一種互補的設定：激進的記憶體擴展。圖3（右）表明，擴充記憶體槽位的數量能帶來清晰且一致的驗證損失改善。在探索的範圍內，曲線遵循嚴格的冪律，這表明Engram提供了一種可預測的擴展調節手段：更大的記憶體能持續帶來收益，而無需額外的計算量。關於擴展效率關鍵的一點是：雖然OverEncoding的直接平均方法也能受益於更大的記憶體表，但Engram在相同的記憶體預算下解鎖了更大的擴展潛力。結合分配定律，這些結果驗證了——條件記憶可以作為稀疏容量的一個獨特且可擴展的維度，與MoE的條件計算相輔相成。爆殺傳統MoE，知識推理數學全面漲基於Engram架構以及實驗得出的分配定律，作者將Engram擴展到了數十億參數的等級，以此來驗證其在現實世界LLM預訓練中的有效性。他們訓練了以下四個模型：Dense-4B （總參數4.1B）MoE-27B （總參數26.7B）Engram-27B （總參數26.7B）Engram-40B （總參數39.5B）實驗結果首先，與先前的文獻結論一致，稀疏架構表現出了優於密集模型的擴展定律。在相同的訓練計算預算下，所有三個稀疏變體（MoE-27B，Engram-27B/40B）在所有基準測試中都顯著擊敗了等FLOPs的Dense-4B基線。更重要的是，Engram-27B始終優於等參數且等FLOPs的MoE-27B基線。有趣的是，這些收益並不僅限於知識密集型任務（MMLU：+3.0，MMLU-Pro：+1.8，CMMLU：+4.0）。在通用推理領域（BBH：+5.0，ARC-Challenge：+3.7，DROP：+3.3），以及程式碼和數學推理（HumanEval：+3.0，MBPP：+1.6，GSM8K：+2.2，MATH：+2.4）中，提升更為顯著。這些結果支援了他們的假設：引入一個專用的知識尋找原語所帶來的表示效率提升，要超過將所有稀疏預算都分配給條件計算的效果。最後，擴展到Engram-40B進一步降低了預訓練損失，並在大多數基準測試中提升了性能。可以觀察到，Engram-40B與基線之間的訓練損失差距在訓練後期仍在持續擴大，這表明擴大的記憶體容量在當前的Token預算內尚未完全飽和。注意力徹底解放，32k上下文性能狂飆通過將局部依賴建模的任務解除安裝給靜態尋找，Engram架構保留了寶貴的注意力容量來管理全域上下文。通過長上下文擴展訓練，作者證明了Engram在長程檢索和推理任務上帶來了顯著的提升。實驗結果1. 超越注意力機制的長上下文能力雖然注意力機制和位置編碼提供了處理上下文的結構基礎，但結果表明，長上下文性能並非僅由架構先驗決定。軌跡可見，長上下文性能與基座模型的通用建模能力本質上是掛鉤的。因此，嚴格的架構比較必須通過對齊基座模型的Loss來控制這一干擾變數，而不僅僅是簡單地對齊訓練步數。2. 受控設定下的架構優越性在上述原則的指導下，作者將Engram與MoE 基線進行了對比。當控制了基座能力後，Engram模組的效率增益就變得非常明顯：等Loss設定（46k vs. 基線）：當對比預訓練Loss對齊的Engram-27B（46k）和完全訓練的MoE-27B（50k）時，Engram 展現出了顯著的增益。等FLOPs設定（50k vs. 基線）：在標準的等計算預算下，Engram-27B（50k）進一步拉大了這一差距，確立了全面的最佳性能。極端設定（≈82%計算量）：即便是提前停止訓練的Engram-27B（41k），在面對完全訓練的MoE-27B（50k）時依然極具競爭力。這凸顯了Engram架構內在的優越性。計算+記憶雙軸時代，直接融入V4？DeepSeek最新論文，打開了稀疏化的第二條路，是一條非常具有啟發性的路線：稀疏化模型進入了「計算+記憶」雙軸時代。MoE繼續負責動態計算與推理Engram負責儲存與檢索靜態知識與局部模式如上的U型scaling law證明了，稀疏預算全部給MoE，不是全域最優，留出一部分給Engram整體更強。1. 稀疏化目標變得更豐富了條件計算解決了FLOPs，條件記憶解決了容量與模式檢索，兩線均可互補。2. Engram收益帶有結構性它讓LLM知識能力暴漲同時，也間接提升了推理、數學、程式碼的性能，因為Transfomer主幹的深度和注意力計算效用更「值錢」了。3. 確定性查表，很適合系統最佳化模型預取和解除安裝很大，為「更大參數、同等吞吐」提供了一種可行的工程路線。如今，全網都在猜測，春節檔的V4有很大機率會把Engram融入主幹架構。回看此前DeepSeek路線：DeepSeek V2曾引入MLA，大幅提升了推理效率和KV快取友好度；DeepSeek V3持續最佳化MoE，實現無損負載平衡，訓練更穩定，成本更低。若是V4真的把Engram落地，那將不僅是參數規模的提升，更是架構範式的又一次躍遷。再加上，此前爆出，V4程式碼實力可能趕超Claude、ChatGPT系列。今年的春節大禮，真是讓人期待。(新智元)

DeepSeek 又扔了個王炸。本來準備躺平過節（嗯，是真的躺著了），結果睜眼發現一篇新論文 mHC（流形約束超連接）突然刷屏。我看了一眼作者列表，直接“垂死病中驚坐起”——最後一位赫然寫著：Wenfeng Liang（梁文鋒）。圖：DeepSeek CEO 梁文鋒署名熟悉 DeepSeek 的都知道，這位 CEO 極少在技術論文上親自署名。老闆親自掛帥，還選在新年第一天發，說明這事兒絕對不簡單。讀完我才發現，他們這次竟然要革深度學習祖師爺 ResNet 的命。聽起來很狂？但我研究了一下原理，發現這幫人是真有東西。01｜從何愷明的“神來之筆”說起要看懂 DeepSeek 的操作，我們得先回看一眼歷史。2016年，大神何愷明（Kaiming He） 團隊提出了 ResNet，徹底解決了深層網路訓練不動的難題。其中的核心設計叫“恆等對應”。圖：何愷明，深度殘差網路（ResNet）的主要發明者打個比方，這就像在迷宮裡修了一條“直通車道”。訊號可以無腦地從這一層傳到下一層，不被中間商賺差價。正是因為有了這條路，今天的 ChatGPT、DeepSeek 這些結構極深的龐然大物才跑得起來。但問題是，對於現在胃口越來越大的模型來說，這一條“單車道”漸漸不夠用了。於是，學術界搞出了一個叫 HC（Hyper-Connections，超連接） 的東西。（主要來自字節跳動 2024 年發表的論文）HC 的想法很美好：既然單車道不夠，那我就擴建成多車道唄！它把殘差流變寬（n倍），讓資訊在不同車道間亂竄、混合，以此來提升模型的能力。圖：三代架構進化史：(a) 是經典的“單車道” ResNet； (b) 是路修寬了但沒紅綠燈的 HC（容易撞車）； (c) 是 DeepSeek 加了“交通管制”的 mHC。但問題來了，這一擴建，出事了。原來的 ResNet 是“直通車”，很穩。現在的 HC 變成了“無紅綠燈的超級路口”。論文裡的資料特別嚇人：在 HC 的架構下，訊號在網路裡傳著傳著，就會因為缺乏管束而瘋狂膨脹。看原論文裡的資料，HC 的訊號增益幅度峰值直接幹到了 3000！（下圖右側）圖：HC 的訊號增益幅度峰值直接幹到了 3000這意味著啥？意味著訊號被放大了 3000 倍。這就像早高峰的十字路口沒有紅綠燈，車全撞在一塊了，這就是典型的“訊號爆炸”。結果就是：模型訓練極其不穩定，錯誤率（Loss） 說炸就炸，根本沒法在大規模模型上用。02｜DeepSeek 的解法：數學暴力美學面對這種“車禍現場”，一般人的思路可能是：“那我就少修兩條路吧。”但 DeepSeek 的思路是：路我要修，但我要請一個懂數學的交警。這就是 mHC（流形約束超連接）的核心邏輯。他們發現，只要把那些負責指揮交通的矩陣，強行按在一個叫“雙隨機矩陣”的數學規則裡，問題就解決了。別被這個數學名詞嚇跑，它的原理其實也挺簡單，就像“能量守恆定律”：不管你在路口怎麼變道、怎麼混合，進來的流量總和，必須嚴格等於出去的流量總和。既不允許車子憑空消失（訊號衰減），也不允許憑空變出車來（訊號爆炸）。為了做到這一點，DeepSeek 用了一個叫 Sinkhorn-Knopp 的演算法，像是給矩陣戴上了“緊箍咒”。不管這矩陣原來長啥樣，經過這個演算法一處理，它就必須變得老老實實，行和列的加和都得等於1。這就很漂亮了。它保留了多車道互聯帶來的資訊豐富度（性能提升），又把訊號嚴格限制在了一個安全的範圍內（穩定性），完美致敬了何愷明當年追求的“恆等對應”精神。03. 效果怎麼樣？直接看療效理論吹得再好，還得看實驗。還記得剛才說 HC 的訊號增益飆到了 3000 嗎？用了 mHC 之後，這個數字被死死按在了 1.6 左右。從 3000 到 1.6，這是直接降低了三個數量級！這也直接體現在了訓練曲線上：穩如老狗： mHC 的訓練 Loss 曲線（藍線）極其平滑，跟基線模型幾乎一樣穩。圖：mHC 的訓練 Loss 曲線極其平滑性能更強： 在 27B 參數的模型上，mHC 不僅穩，效果還比標準版更好。特別是在比較難的 BBH（邏輯推理）和 DROP 任務上，提升非常明顯。圖：在 27B 參數的模型上，mHC 不僅穩，效果還比標準版更好。04. 不止是數學，更是工程上的“摳門”讀 DeepSeek 的論文，你永遠能感覺到他們那種“把算力榨乾到最後一滴”的執著。因為把路修寬，本來是一件非常費視訊記憶體、費時間的事。如果不做最佳化，記憶體訪問成本（I/O）會增加好幾倍，這誰受得了？所以 mHC 不僅僅是一個數學創新，還是一套工程最佳化方案。算子融合（Kernel Fusion）： 他們手寫了底層的 Kernel，把好幾步計算合併成一步，減少 GPU 讀寫記憶體的次數。重計算（Recomputing）： 為了省視訊記憶體，他們選擇在反向傳播時重新計算中間結果，而不是一直存著。通訊重疊： 利用 DualPipe 策略，把額外的通訊時間“藏”在計算時間裡。結果就是：在擴展率為 4 的情況下，mHC 帶來的額外訓練時間開銷，僅僅只有 6.7%。用極小的代價，換來了模型性能和穩定性的雙重提升。這種“又好又省”的風格，確實很 DeepSeek。寫在最後說實話，每次讀 DeepSeek 的論文都讓人挺佩服的，不是那些牛逼的技術，而是他們“死磕底層”的態度。特別是在現在，大家都忙著卷應用、卷 Agents 的時候，他們願意回過頭去修補 AI 的“地基”。ResNet 已經統治了深度學習這麼多年，大家都覺得它是完美的。但 mHC 告訴我們：只要你不迷信權威，那怕是地基，也有重修的可能。mHC 這種架構，或許不會馬上改變你的生活，但它可能會讓下一代的 DeepSeek、GPT 跑得更穩、更快。 (AI范兒)