2026 年 3 月 16 日，Kimi 團隊最新公開的論文《Attention Residuals》提出了一種針對大模型底層結構的改法。同時 MoonshotAI 也在 GitHub 開源了相關技術報告與實現。該論文獲馬斯克誇讚：“Kimi 的工作令人印象深刻。”論文瞄準的不是訓練資料、參數規模或推理技巧，而是 Transformer 裡一個用了很多年的基礎設計「殘差連接」。用通俗的話說，現在的大模型內部像一條很長的流水線。每一層都會把自己的結果直接加到後面，優點是訓練穩定、網路能堆得很深，但問題是層數一多，前面真正重要的資訊容易被後面的新資訊不斷沖淡。論文把這個問題概括為 PreNorm 下的“稀釋”現象，也就是隱藏狀態會隨著深度持續變大，早期層的貢獻越來越不顯眼。上傳的論文正文對這一點有直接說明。這篇論文的核心思路，是把過去這種“所有層結果默認一股腦往後加”的方式，改成“後面的層按需去前面挑資訊”。作者把這套方法叫做 Attention Residuals，簡稱 AttnRes。簡單理解，它相當於給模型加了一個會翻舊帳的機制，後面的層不再機械接收前面所有層的累計結果，而是像注意力機制那樣，根據當前需要，從更早的層裡找出更有用的資訊再融合進來。過去注意力機制改變了 token 與 token 之間的資訊傳遞，現在 AttnRes 想進一步改變層與層之間的資訊傳遞。這件事之所以被業內關注，不只是因為想法新，還因為它動的是大模型最底層、最通用的一塊積木。Transformer 這些年有很多改進，大家經常改的是 attention、MoE、長上下文、KV cache 或訓練配方，但很少直接去碰 residual connection 這類默認配置。AttnRes 的價值就在於，它試圖回答一個更底層的問題，模型變深以後，資訊到底該怎麼在不同層之間流動，才不會越傳越亂。當然，理想很豐滿，工程通常很殘酷。因為如果每一層都去“看”所有更早的層，記憶體和通訊成本會迅速上升。為瞭解決這個問題，論文又提出了 Block AttnRes，也就是“塊注意力殘差”。它的做法不是逐層精細回看，而是先把很多層壓成若幹個塊，只在塊之間做這種選擇性檢索。可以把它理解成，不是翻整本書的每一頁，而是先把內容整理成幾個章節目錄，再按章節去查。這樣一來，記憶體和通訊開銷從 O(Ld) 降到 O(Nd)，更適合真正的大模型訓練和推理場景。論文還配套設計了跨 stage 快取和兩階段計算策略，報告稱典型推理負載下額外延遲低於 2%，啟用 pipeline parallelism 時訓練端到端額外開銷低於 4%。從實驗結果看，這不是那種“只在某個小模型上偶然有效”的工作。論文做了 scaling law 實驗，比較了 baseline、Full AttnRes 和 Block AttnRes 三種方案。結果顯示，AttnRes 在不同計算預算下都持續優於基線，而 Block AttnRes 在最大規模上已經能夠追回大部分 Full AttnRes 的收益。按論文給出的擬合結果，在 5.6 PFLOP/s-days 這一點上，Block AttnRes 達到的損失水平，相當於基線多用 1.25 倍計算量才能達到。GitHub 倉庫首頁也把這一點作為核心結果之一展示出來。論文還把這套方法接入了 Kimi Linear 架構中，使用的是一個 48B 總參數、3B 啟動參數的模型，並在 1.4 T tokens 上進行了預訓練。按照上傳論文中的結果，採用 Block AttnRes 後，模型在通用、數學、程式碼和中文評測上都沒有輸給 baseline，很多項目還有明顯提升。比如 MMLU 從 73.5 提升到 74.6，GPQA-Diamond 從 36.9 提升到 44.4，Math 從 53.5 提升到 57.1，HumanEval 從 59.1 提升到 62.2，C-Eval 從 79.6 提升到 82.5。尤其是多步推理、數學和程式碼這類更依賴組合能力的任務，提升更明顯。如果把這篇論文再說得更白一點，它不是在教大模型“多背一點知識”，而是在幫大模型“更準確地調出自己已經學到的東西”。傳統殘差更像是把所有舊資料不斷堆進一個大箱子，箱子越堆越滿，找重點越來越難；AttnRes 更像是給這個箱子加了索引系統，後面的層可以按需要去翻前面真正有用的資料。這也是為什麼這項工作雖然看起來不像新模型發佈那樣熱鬧，卻可能對下一代大模型底層結構設計產生實際影響。它最大的意義，在於證明“層與層之間的資訊傳遞”也可以像 token 之間那樣被重新設計，而且這種重寫在大模型規模上仍然能跑得動、能帶來穩定收益。至於它會不會像標準殘差連接那樣成為行業新默認配置，還要看後續更多模型、更多團隊和更長時間的復現與驗證。該論文更引人注意的是其中作者之一：陳廣宇是一位 17 歲的高中生，參與了技術研究。 (雲頭條)

美團核心決策層人事調整了。美團CEO王興發佈組織公告郵件，宣佈軟硬體服務負責人肖飛、Keeta負責人仇廣宇將正式加入公司美團最高管理團隊S-team。此次增補後，美團 S-team 成員增至8人，除核心管理層王興、穆榮均、王莆中等元老外，新業務類股首次佔據兩席。業內人士向《科創板日報》記者分析指出，在核心本地商業增速放緩的背景下，美團亟需新業務打開增長空間。此次 S-team 擴容後，新業務類股在決策層的權重顯著提升，既體現了對過往成績的認可，也為後續資源投入鋪路。據《科創板日報》記者獲悉，此次調整是“領導梯隊培養計畫”的常規落地，不涉及組織架構變動。而王興在郵件中表示，“期待他們（肖飛與仇廣宇）帶來新的視角和輸入，為公司長期成功作出更大貢獻。”公開履歷顯示，肖飛是美團內部成長起來的“老兵”。2014年2月以外賣產品經理身份加入後，他於2016年轉向餐飲生態平台，率先探索商家數位化解決方案，2023年晉陞副總裁，2025年4月全面接管軟硬體服務類股。其帶領的團隊因持續輸出高級管理者，被評為內部 “人才發展標竿”。相較於肖飛的“十年深耕”，仇廣宇的晉陞更具“黑馬”特質。2022年5月加入美團後，他從零搭建國際化團隊，先後在香港鞏固Keeta領先地位，在沙烏地阿拉伯將服務覆蓋至20個城市，並開拓卡達、阿聯、科威特等市場。最新財報顯示，Keeta 二季度訂單量與 GTV（交易總額）均實現強勁增長，成為美團新業務中增速最快的類股之一。這種“一年拓四國”的戰績，使其成為美團國際化戰略的核心操盤手。從業務架構看，美團當前以核心本地商業（外賣、到店、酒旅等）與新業務（食雜零售、軟硬體服務、境外業務等）為兩大支柱。此次兩位新成員均來自新業務類股，與食雜零售負責人郭萬懷形成“新業務鐵三角”，與負責核心本地商業的王莆中形成戰略呼應。“美團此次S-team的擴容，是一次極具針對性的戰略排兵佈陣，反映了管理層對當前競爭格局的認知，也透露出對未來方向的最新戰略抉擇。”出海湃創始人周范才在接受《科創板日報》記者採訪時稱，這不應被理解為一次普通的高管晉陞，背後可以折射出當下美團的業務選擇和未來戰略方向。在他看來，肖飛、仇廣宇這兩位高管的晉陞，清晰地指向了美團當前的兩個最核心戰場，國內守穩基本盤，拓展增長翼；海外打造新增量。“尤其是出海，仇廣宇的晉陞，是美團給整個市場的一個明確訊號：出海不再是試水項目，而是公司的戰略。一年拓四國的成績獲得了最高層認可，接下來，美團勢必會向Keeta以及未來的其他海外業務投入更多資源。”周范才向《科創板日報》記者分析稱，這意味著美團的國際化處理程序將從小心翼翼的策略性試探，轉向更具雄心和系統性的戰略進攻，中東戰局的深化以及向巴西等其他區域的擴展值得期待。 (科創日報)