DeepSeek-v3大模型橫空出世,以1/11算力訓練出超過Llama 3的開源模型,震撼了整個AI圈。
緊接著,“雷軍開千萬年薪挖DeepSeek研究員羅福莉”的傳聞,也使得人們把目光聚焦向DeepSeek的人才。
這下不只科技圈,全網都在好奇,連小紅書上都有人發帖詢問,這究竟是一隻怎樣的團隊?
國際上,也有人把創始人梁文鋒的訪談翻譯成英語,還加了註釋,試圖從中尋找這家公司崛起的蛛絲馬跡。
量子位整理各種資料發現,DeepSeek團隊最大的特點就是年輕。
應屆生、在讀生,特別是來自清北的應屆生在其中非常活躍。
他們中的一些人,2024年一邊在DeepSeek搞研究,另一邊新鮮熱乎的博士學位論文剛評上獎。
他們中有的參與了從DeepSeek LLM v1到DeepSeek-v3的全程,有的只是實習了一段時間也做出重要成果。
為DeepSeek提出MLA新型注意力、GRPO強化學習對齊演算法等關鍵創新的,幾乎都是年輕人。
DeepSeek核心成員揭秘
2024年5月發佈的DeepSeek-V2,是致使這家大模型公司破圈的關鍵一環。
其中最重要的創新是提出了一種新型注意力,在Transformer架構的基礎上,用MLA(Multi-head Latent Attention)替代了傳統的多頭注意力,大幅減少了計算量和推理視訊記憶體。
在一眾貢獻者中,高華佐和曾旺丁為MLA架構做出了關鍵創新。
高華佐非常低調,目前只知道是北大物理系畢業。
另外,在“大模型創業六小強”之一階躍星辰的專利資訊中也可以看到這個名字,暫不確定是否是同一人。
而曾旺丁來自北郵,研究生導師是北郵人工智慧與網路搜尋教研中心主任張洪剛。
DeepSeek-V2工作中還涉及到了另一項關鍵成果——GRPO。
DeepSeek-V2發佈前三個月,DeepSeek-Math問世,其中提出了GRPO(Group Relative Policy Optimization)。
GRPO是PPO的一種變體RL演算法,放棄了critic模型,而是從群體得分中估算baseline,顯著減少了訓練資源的需求。
GRPO在圈內得到廣泛關注,另一家國內開源大模型阿里Qwen 2.5的技術報告中也透露用到了GRPO。
DeepSeekMath有三位核心作者是在DeepSeek實習期間完成的工作。
核心作者之一邵智宏是清華互動式人工智慧(CoAI)課題組博士生,師從黃民烈教授。
他的研究領域包括自然語言處理、深度學習,特別對如何能建構一個穩健且可擴展的AI系統感興趣,這個AI系統能利用多樣化的技能整合異構資訊,並能精準回答各種複雜的自然語言問題。
邵智宏之前還曾在微軟研究院工作過。
DeepSeekMath之後,他還參與了DeepSeek-Prover、DeepSeek-Coder-v2、DeepSeek-R1等項目。
另一位核心作者朱琪豪是北大電腦學院軟體研究所2024屆博士畢業生,受熊英飛副教授和張路教授指導,研究方向為深度程式碼學習。
據北大電腦學院官方介紹,朱琪豪曾發表CCF-A類論文16篇。在ASE和ESEC/FSE上分別獲得ACM SIGSOFT傑出論文獎一次,提名一次。一篇論文進入ESEC/FSE會議同年的引用前三名。
在DeepSeek團隊,朱琪豪還基於他的博士論文工作,主導開發了DeepSeek-Coder-V1。
其博士論文《語言定義感知的深度程式碼學習技術及應用》也入選了2024CCF軟體工程專業委員會博士學位論文激勵計畫。
還有一位核心作者同樣來自北大。
北大博士生Peiyi Wang,受北京大學計算語言學教育部重點實驗室穗志方教授指導。
除了DeepSeek-V2 MLA、DeepSeekMath GRPO這兩項關鍵破圈成果,值得一提的是,還有一些成員從v1就加入其中,一直到v3。
代表人物之一代達勱,2024年博士畢業於北京大學電腦學院計算語言所,導師同樣是穗志方教授。
代達勱學術成果頗豐,曾獲EMNLP 2023最佳長論文獎、CCL 2021最佳中文論文獎,在各大頂會發表學術論文20篇+。
2024年中國中文資訊學會“博士學位論文激勵計畫”共入選10篇來自中國大陸高校的博士畢業論文,其中就有他的《預訓練語言模型知識記憶的機理分析及能力增強關鍵技術研究》。
以及北大元培學院的王炳宣。
王炳宣來自山東煙台,2017年進入北大。
碩士畢業加入DeepSeek,參與了從DeepSeek LLM v1開始的一系列重要工作。
清華這邊的代表人物還有趙成鋼。
趙成鋼此前是衡水中學資訊學競賽班成員,CCF NOI2016銀牌得主。
之後趙成鋼進入清華,大二時成為清華學生超算團隊正式成員,三次獲得世界大學生超算競賽冠軍。
趙成鋼在DeepSeek擔任訓練/推理基礎架構工程師,有輝達實習經歷。
DeepSeek是一支怎樣的團隊
這些鮮活的個體,足以引發人們的讚歎。
但還不足以回答最初的問題,DeepSeek到底是一支怎樣的團隊?有怎樣的組織架構?
答案或許還要從創始人梁文鋒身上找。
早在2023年5月,DeepSeek剛剛宣佈下場做大模型,還沒發佈成果的時候,梁文鋒在接受36氪旗下「暗湧」採訪時透露過招人標準。
看能力,而不是看經驗。
我們的核心技術崗位,基本以應屆和畢業一兩年的人為主。
從後面一年多陸續發表的論文貢獻名單中也可以看出,確實如此,博士在讀、應屆以及畢業一兩年的成員佔很大一部分。
即使是團隊leader等級也偏年輕化,以畢業4-6年的為主。
例如領導DeepSeek的後訓練團隊的吳俁,2019年北航博士畢業、在微軟MSRA參與過小冰和必應百科項目。
吳俁博士期間接受北航李舟軍教授和MSRA前副院長周明博士的聯合培養。
與他師出半個同門的是郭達雅,中山大學印鑑教授與MSRA周明博士聯合培養,2023年博士畢業。
2024年7月他加入DeepSeek,主要參與了一系列數學和程式碼大模型的工作。
郭達雅上學期間還有一項事蹟,本科期間在MSRA實習一年裡發表兩篇頂會論文,他笑稱“在剛入學的第三天,就完成了中大博士生的畢業要求。”
除了團隊成員年輕化之外,DeepSeek在國內AI公司中突出的特點:非常重視模型演算法和硬體工程的配合。
DeepSeek v3論文總共200位作者,並不都是負責AI演算法或資料。
有這樣一批人從早期的DeepSeek LLM v1到v3一直都在參與,他們更多偏向算力的部分,負責最佳化硬體。
他們以DeepSeek AI的名義發表了論文《Fire-Flyer AI-HPC》,通過軟硬體協同設計降低訓練成本,解決傳統超算架構在AI訓練需求上的不足。
Fire-Flyer也就是幻方AI搭建的螢火2號萬卡叢集,使用輝達A100 GPU,卻做到相比輝達官方的DGX-A100伺服器有成本和能耗的優勢。
這支團隊中有的人在輝達工作或實習過,有的來自同在杭州的阿里雲,也有許多人從幻方AI借調又或乾脆轉崗到DeepSeek,參與了每一項大模型工作。
而如此重視軟硬體協同的成果,就是以Llama 3 405B的1/11算力,訓練出性能更高的DeepSeek-v3了。
最後,我們還發現DeepSeek開放原始碼專案中有一個特別的存在,不是語言模型相關工作,卻是3D生成相關。
這項成果由清華博士生孫景翔在DeepSeek實習期間,與導師劉燁斌以及DeepSeek成員合作完成。
像這樣實習生在DeepSeek做出重要成果的還有中山大學邏輯學專業的辛華劍。
看過這些例子,再一次回到梁文鋒的訪談,或許更能理解這只團隊的運作結構。
這難免讓人想起AI界另一家不可忽視的力量,沒錯就是OpenAI。
同樣的用人不看經驗,本科生、輟學生只要有能力照樣招進來。
同樣的重用新人,應屆生與00後可以調動資源從無到有研究Sora。
同樣的面對潛力方向,整個公司從頂層開始設計佈局和資源推動。
DeepSeek,可能是組織形態上最像OpenAI的一家中國AI公司了。 (量子位)