最近,AI圈被一個名字刷屏了——17歲的陳廣宇。
10月15日,“00後”天才少年陳廣宇在社交平台發文宣佈,近日已離開月之暗面的Kimi團隊。他表示:“過去一年在Kimi的工作是我迄今為止最美好的時光。我非常感激能夠與如此出色和支援我的同事共事並從中學到東西。”
消息一出,迅速引發熱議。幾乎同一時間,前DeepMind推理架構負責人、現Anthropic研究員肖爾托·道格拉斯現身評論區,公開邀請他去舊金山。
面對肖爾托·道格拉斯的邀請,陳廣宇回覆:“謝謝Sholto!我正要去灣區。”也有分析認為,他離開或是去讀大學。
據南方都市報,有傳聞稱,陳廣宇前腳宣佈離開,後腳便收到5份工作邀約,金額均在100萬美元(約合700萬元人民幣)以上。
這位受到國際業內關注的少年科研者,曾在深圳求學。
陳廣宇出生於2009年,曾就讀於原北大附中深圳南山學校,後轉入華潤小徑灣貝賽思國際學校,今年6月剛剛高中畢業。去年11月,年僅16歲的他加入Kimi團隊,擔任機器學習研究員。以此計算,他在Kimi工作的時間不超過一年。
他還曾入選羅德信託“高潛力未來領袖計畫”,並在美國頂尖小型實驗室Tilde Research做過AI研究。
短短不到一年,陳廣宇便深度參與了兩項重磅研究。
今年3月,Kimi發佈技術報告《Attention Residuals》,對大模型十年沒有變化的核心結構殘差連接進行重新設計。《Attention Residuals》的第一作者除了Kimi關鍵人物之一、RoPE(旋轉位置編碼)的提出者蘇劍林,以及Kimi Linear(Kimi的新型混合線性注意力架構)的第一作者張宇以外,還有陳廣宇。
研究過程中,張宇與陳廣宇共同提出“分塊注意力殘差”設計,在保留效果的同時,大幅降低大規模模型訓練的計算和通訊成本。
論文發出後,馬斯克馬上點評“讓人印象深刻”,前OpenAI研究科學家Andrej Karpathy表示該研究真正踐行了“Attention is All You Need”的理念,推理之父、前OpenAI研究副總裁Jerry Tworek也表示“深度學習2.0來了”。
7月,月之暗面發佈新一代大模型Kimi K3,總參數規模達2.8兆。據披露,AttnRes額外成本不到2%,卻帶來約25%的訓練效率提升。陳廣宇還參與了加速另一核心架構KDA的計算核心工作——K3的兩大核心架構,都有他的貢獻。(每日經濟新聞)

