#MoE
•

4小時52分鐘當機復盤：DeepSeek的算力成人禮，與AI服務可靠性危機

導語： 10月15日早上8點11分，很多職場人的工作日是從同一個報錯開始的——「伺服器暫時不可用」。 DeepSeek對話服務與 V4 Pro、V4.1 Flash 的 API 服務同時異常，直到13點04分才全面恢復，官方口徑的中斷時長為4小時52分鐘。故障上了熱搜，官方快速響應、快速恢復、快速補償。 但有一個關鍵問題至今沒有被回答：這近5個小時裡倒下的，只是一批伺服器，還是AI服務這種新模式在高速擴張下的系統性壓力？
4小時52分鐘當機復盤：DeepSeek的算力成人禮，與AI服務可靠性危機
科技#DeepSeek#伺服器當機#算力危機
•

我不允許還有人不知道Strata！本地AI時代正式開啟！讓丐版Mac mini性能日增10%

🔥最近，開源本地推理引擎 Strata 在AI圈引起轟動！不僅能把大模型一鍵部署在輝達、AMD、intel、蘋果等各種硬體上，更關鍵的是，動輒跑出數百tok/s！實現了實用性。而不是數s/tok那種笑話。 本地AI終於能跟雲端AI API服務掰手腕了！ 與以往的技術相比，Strata是如何穩定實現數百倍本地AI性能提升的？ 關鍵就是Strata並沒有去做一個通用AI引擎，而是從一開始就是專為 Qwen3.8-Flash-Next（125B 參數的超大規模 MoE 模型，實際每token只啟動約6B參數）開發能在消費級顯示卡（12GB+ VRAM）+普通記憶體（32–64GB）上高速本地運行而專門開發的。
科技#開源軟體#大模型部署#MoE模型
•

小紅書悄悄開源發佈了自己的大模型，內容平台也要造底座

長期依賴外部模型，不是最好的選擇。 前幾天，我們注意小紅書在海外發佈了一款大模型 dots3-note preview。 這款模型採用 MoE 架構，總參數 280B、啟動參數 16B，支援 512K 上下文，並具備文字、視覺、語音的多模態理解能力。它屬於 dots3 系列，後續還將有 jazz、aria 等不同定位的版本。作為先行發佈的 note 版本，它更像是小紅書將模型能力推向實際業務和開發者生態的第一步。 模型上線後，海外開發者社區很快開始討論，Hugging Face 下載量破百，華為昇騰也在當天宣佈完成適配；但在國內，這次發佈暫時還沒有掀起太大水花。
小紅書悄悄開源發佈了自己的大模型，內容平台也要造底座
科技#小紅書#dots3-note preview#MoE架構
•

突發！DeepSeek-V4-Flash 正式發佈並開源核心技術深度洞察！

2026年8月2日，深度求索公司正式宣佈其旗艦大模型DeepSeek-V4-Flash的穩定版本全面上線並同步開源。 這一事件不僅標誌著中國AI公司在大模型領域的重大技術突破，更以其極致的效率、顛覆性的成本結構和強大的Agent能力，為全球AI產業的發展路徑投下了一枚深水炸彈。 本文將深入剖析這一模型背後的核心技術革新，解讀其在多維度Agent任務中的卓越表現，並從產業鏈視角審視其可能引發的深遠影響。 一、 技術架構：輕量MoE與注意力機制的革命性融合
突發！DeepSeek-V4-Flash 正式發佈並開源核心技術深度洞察！
科技#DeepSeek-V4-Flash#MoE#Agent能力
•

剛剛！3萬億Kimi K3開源，華為昇騰Day0適配、撼動矽谷

就在剛剛，Kimi K3如約開源。 7月27日晚23點，月之暗面正式開源Kimi K3模型權重。 這次，Kimi K3採用自訂的License 協議，允許研究、部署、微調和二次開發。 這個 License 設計挺聰明的。小開發者和研究者零門檻，大玩家該付錢付錢，跟 Meta 的 Llama License 思路類似但細節不同。
剛剛！3萬億Kimi K3開源，華為昇騰Day0適配、撼動矽谷
科技#Kimi K3#開源#MoE
•

Kimi K3：很強，很貴，很愛給你炫技

7 月 16 日晚，月之暗面上線 Kimi K3，2.8 兆參數，MoE 架構，原生支援視覺理解和 100 萬 token 上下文。K3的MoE共有896個專家，每個token啟動其中16個，並引入KDA、Attention Residuals和Stable LatentMoE。官方稱，這些改動讓其相較K2的整體擴展效率提高約2.5倍。 它號稱“迄今能力最強的旗艦模型”，完整權重發佈後（計畫 7 月 27 日前），K3 有望成為參數量最大的公開權重模型。Benchmark方面，K3官方稱其整體表現仍落後於Claude Fable 5和GPT-5.6 Sol，但在整套評測中達到了前沿水平，並穩定超過其他受測模型。 正式上線之前，demo 已經刷了兩天屏。Arena 上代號“Kivine”的匿名模型被社區認定來自 Moonshot，一句提示詞生成的 Minecraft 克隆和《殺戮尖塔》可以直接打開遊玩，Flappy Bird 對比視訊宣稱 K3“明顯優於”Opus 4.8。 此外官方還展示了一個晶片設計的案例。K3 連續自主運行 48 小時，基於開源 EDA 工具和 Nangate 45nm 工藝庫，為一個基於自身架構的 nano 模型完成晶片設計、最佳化與驗證，最終實現時序收斂和超過每秒 8700 token 的模擬解碼吞吐。
Kimi K3：很強，很貴，很愛給你炫技
科技#Kimi K3#月之暗面#MoE 架構
•

不換GPU，性能飆升2.8倍！輝達用軟體暴打摩爾定律

MoE模型的稀疏啟動本是優勢，卻常陷通訊瓶頸。NVIDIA以軟體為利劍，通過程序化依賴啟動和全對全通訊革新，在三個月內將GB200的單GPU吞吐提升2.8倍，真正釋放Blackwell硬體潛力。2026年1月8日，NVIDIA再次用硬核資料刷新AI推理的性能上限。輝達官網披露：基於Blackwell架構的推理軟體棧升級，讓混合專家模型（MoE）的推理效率迎來「階躍式」突破——單GPU吞吐飆升2.8倍，顯著降低了推理成本。GB200 NVL72：為MoE而生輝達為何這次能只使用軟體升級就實現如此顯著的性能提升，這歸因於MoE模型的特殊性。以DeepSeek-R1為例，這個6710億參數的稀疏MoE模型，每次推理僅啟動370億參數（「稀疏啟動」），看似「輕量」，實則暗藏算力挑戰：專家模組間的動態路由需要高頻資料交換，預填充（prefill）與解碼（decode）階段的計算負載差異大，傳統架構極易因通訊瓶頸或精度損失陷入「性能牆」。同時MoE架構中的多個模型需要頻繁通訊。輝達給出的應對之法，是在本身的硬體基礎上，通過軟體針對性升級，從而發揮出硬體的潛力。圖1：GB200 NVL72機櫃GB200 NVL72機架級平台是本次突破的「物理基石」。它通過第五代NVLink互連72塊Blackwell GPU，GPU之間具有1800GB/s雙向頻寬高速連接——這一設計是基於稀疏 MoE 架構模型專門進行的最佳化，相當於給72個「專家大腦」裝上了「超高速神經突觸」，讓專家間的資料交換告別「擁堵」。軟體層面的更新，首先是NVFP4四位元浮點格式。相比傳統FP4，NVFP4通過NVIDIA自研的數值分佈最佳化，在壓縮資料量的同時，最大限度保留了模型精度（這對MoE的稀疏啟動至關重要，避免因精度損失導致路由錯誤）。配合硬體級NVFP4加速單元，Blackwell讓模型使用低精度計算，但卻能夠相比其他 FP4 格式，具有更高的精準性。圖2：在 HGX B200 上，開啟NVFP4與FP8時的吞吐量與互動性曲線對比此外，「分解服務」（disaggregated serving）策略進一步釋放了GB200的潛力：將預填充（計算密集型）與解碼（記憶體密集型）分配到不同GPU組，利用NVLink Switch的靈活拓撲實現「計算-記憶體」解耦，避免單一資源成為瓶頸。軟體引擎 TensorRT-LLM三個月狂飆2.8倍吞吐如果說硬體是「基礎」，軟體則是「引擎調校」。NVIDIA TensorRT-LLM開源庫的近期最佳化，讓GB200 NVL72在DeepSeek-R1上的單GPU吞吐，過去三個月直接飆升2.8倍。具體來看，三大最佳化堪稱「性能催化劑」：1、程序化依賴啟動（PDL）通過減少核心啟動延遲，讓GPU「時刻待命」，尤其在低互動性（高吞吐）場景下，顯著降低「空轉」損耗；2、底層核心最佳化針對Blackwell Tensor Core的微架構特性，重構計算流水線，讓每一份算力都用在「刀刃」上；3、全對全通訊原語革新消除接收端中間緩衝區，直接減少資料傳輸的「繞路成本」——這對MoE的專家間高頻通訊而言，相當於減少了延遲。上述三項創新，使得GB200在運行DeepSeek R1時，相比2025年10月的軟體版本，獲得更高的吞吐量。圖3：軟體更新給GB200帶來的性能提升隨著AI從「能用」走向「好用」，使用者對互動性的要求激增——聊天機器人要「秒回」，程式碼助手要「即時補全」，而吞吐量的上升，意味著更低的延遲。小機櫃也適用，HGX B200也能跑滿足DeepSeek並非所有場景都需要GB200 NVL72這樣的包含72塊顯示卡的「巨無霸」。對於風冷部署的企業或雲服務商，NVIDIA HGX B200（8卡Blackwell）同樣交出了驚豔答卷——其核心武器是多token預測（MTP）與NVFP4的組合拳。傳統推理中，模型逐token生成，每一步都要等待前一步完成；而MTP通過預測多個候選token（而非單個），讓GPU在一次計算中覆蓋更多生成步驟，相當於在解碼任務時批次處理，「一次思考，多步輸出」。圖4：MTP及不同精度帶來的性能提升實測顯示，在1K/1K、8K/1K、1K/8K等多種輸入輸出序列組合下，MTP均顯著提升了吞吐量，且互動性越高（延遲要求越嚴），收益越明顯。當MTP遇上NVFP4，性能增益被進一步放大。NVFP4不僅通過四位元壓縮降低記憶體頻寬壓力，更依託Blackwell的張量核心實現高效計算。結合TensorRT-LLM與TensorRT Model Optimizer的全端支援，HGX B200在保持精度的前提下，吞吐曲線隨MTP+NVFP4的啟用持續右移——意味著在相同互動性下能服務更多使用者，或在相同使用者數下提供更流暢的體驗。對企業與雲服務商而言，現有Blackwell GPU通過軟體升級即可獲得2.8倍吞吐提升，相當於「免費擴容」，大幅延長硬體生命周期；對模型開發者，TensorRT-LLM 提供了一個高級的API。原生PyTorch架構給開發者提供了兼具易用性與擴展性的結果，這降低了最佳化門檻，讓更多人能聚焦模型創新而非底層調優這種「不依賴換硬體就能升級性能」的能力，讓輝達在專業顯示卡領域的護城河相比AMD，英特爾等競爭者更深。Blackwell架構+TensorRT-LLM的組合，在MoE推理問題上，做到了在「高精度、低延遲、高吞吐、低成本」間的既要又要。輝達的護城河不止是晶片，更是那套能「從石頭裡榨出血來」的軟體生態。 (新智元)
不換GPU，性能飆升2.8倍！輝達用軟體暴打摩爾定律
科技#輝達#MoE模型
•

小米最新大模型成果！羅福莉現身了

小米的最新大模型科研成果，對外曝光了。就在最近，小米AI團隊攜手北京大學聯合發佈了一篇聚焦MoE與強化學習的論文。而其中，因為更早之前在DeepSeek R1爆火前轉會小米的羅福莉，也赫然在列，還是通訊作者。羅福莉碩士畢業於北京大學，這次也算是因AI串聯起了小米和北大。有意思的是，就在今年9月DeepSeek登上《Nature》的時候，羅福莉也出現在了作者名單，不過是以“北京獨立研究者”的身份。當時還有過風言風語，說當初“雷軍千萬年薪挖來AI天才少女”，當事人可能離職了。但這篇小米最新AI論文披露後，一切似乎有了答案…小米最新AI成果：找到RL中穩定和效率的平衡這篇論文大道至簡，提出了一種在MoE架構中提高大模型強化學習的思路。相對已經共識的是，當前強化學習已成為在預訓練遇到瓶頸後，推動LLM突破能力邊界的關鍵工具。不過在MoE架構中，情況就沒那麼簡單了，由於需要根據問題分配不同的專家，路由機制會讓訓練過程變得不穩定，嚴重時甚至會直接把模型“整崩”。為瞭解決這個問題，研究團隊提出了一種全新的思路，讓MoE也能平穩且高效地推進大規模強化學習。強化學習的災難性崩潰自從預訓練時代告一段落，後訓練成了巨頭們拿起Scaling Law瞄準的的下一個戰場。靠著大規模強化學習，大模型開始學會更長鏈路的推理，也能搞定那些需要呼叫工具的複雜Agent任務。不過，強化學習在擴展規模的過程中，總會不可避免地撞上一道鐵幕：效率和穩定性的權衡。想要高效率，就得訓練得更“猛”——更高的學習率、更大的平行度、更頻繁的樣本更新。可這樣一來，穩定性也更容易出現問題。但一味追求穩定也不行，效率會被拖住，模型訓練慢得像蝸牛。想要解決這個問題，得先回到強化學習的底層一探究竟。LLM的強化學習，通常分兩步：第一步是推理，模型自己生成內容、和環境互動、拿到反饋分數；第二步是訓練，根據這些分數去微調自己，並想辦法在下次拿更高分。不過，這兩步通常不是在同一套系統裡跑的。比如，現在主流方案是SGLang負責生成內容，追求速度快；而Megatron負責訓練更新，追求算得準。雖然兩邊用的是同一套模型參數，但底層實現有細微差別，比如像隨機性、精度、平行方式、快取策略，這些看似微不足道的細節波動，都會讓結果出現偏差。於是就出現了一個尷尬現象：一模一樣的Prompt，兩套模式下最終生成的結果都能不一樣。這種「機率漂移」積累多了，模型就會越學越偏，最後學著學著，訓練目標和實際表現徹底牛頭不對馬嘴。這就是業內常說，強化學習災難性崩潰。路由重放機制研究團隊指出，導致MoE在強化學習中容易崩掉的罪魁禍首，在於路由分佈。在MoE模型中，路由器不會把所有參數都用上，而是會根據每個輸入token的特徵，挑幾位在該領域更擅長的“專家”出來幹活，從而可以節省不少資源。但副作用也很明顯，這種動態模式會讓模型在訓練階段和推理階段得出的最佳策略大相逕庭，比傳統的稠密模型要“飄忽”得多。對此，這篇論文給出了一種新穎的解決方案。既然問題出在路由隨機，那為何不直接把路由鎖住呢？他們的做法是：在推理時把路由分佈記錄下來，等到訓練時再把這些分佈原封不動地“重放”進去。這樣，訓練和推理就走同一條路線，不再各幹各的。根據這種“重放”的特定，研究將這種方法命名為——Rollout Routing Replay（R3）。解決了穩定性的問題，再來看看如何把效率也穩穩拿下。在強化學習中，模型會不斷重複“生成→獲得獎勵→更新→再生成”的飛輪，一個完整過程下來，可能要跑上幾十萬、甚至上百萬次推理。要是每次生成都要從頭計算上下文，算力與時間成本將呈幾何式增長。為應對這種情況，主流推理引擎普遍採用KVCache前綴快取策略：把之前算好的上下文保存下來，下次直接“接著算”。不過，除了上下文不一致，MoE架構還涉及到路由選擇不一致的問題——按照傳統的解決方案，即便是重複的上下文，每一次計算，模型還是要重新選專家、啟動專家。因此，研究團隊在KVCache的基礎上又加了一招——路由掩碼（routing mask）。他們的想法是，既然對於對相同的上下文，MoE的路由結果應該一樣，那乾脆，把推理階段的路由掩碼和前綴KVCache一起快取起來。這樣當相同上下文再次出現時，模型就能直接用上次的掩碼，不必重算。這樣，R3就能夠與現有的前綴快取系統無縫銜接，在大規模強化學習及複雜的Agent任務中，也依然能保持出色的計算效率。實驗結果為評估R3的實際效果，研究團隊基於Qwen3-30B-A3B模型進行了一系列實驗。總體性能：結果發現，不管在那種場景下，R3的整體成績都更好。在多mini-step設定下，GRPO+R3的表現比GSPO高出1.29分。若將R3與GSPO結合，性能還可以進一步提升0.95分。訓練穩定性：崩潰情況也少了很多。不難看出，隨著訓練時間的延長，即便到了第150步，R3依然能保持相對平緩的曲線。相比之下，如果是用GRPO訓練，到第60步時就已經嚴重跑偏。最佳化與生成行為：而且，R3不光讓模型更穩，也讓它更聰明。實驗結果結果表明，R3能更快找到正確方向、最佳化過程更絲滑，還能更早開始探索更優策略。一句話總結，研究團隊在這篇論文提出了一種叫R3的方法，通過在訓練中復用推理階段的路由分佈，能夠讓MoE模型的強化學習更穩定、更高效。論文作者說完論文，再讓我們看看這支由小米系和北京大學攜手牽起的研究團隊。論文的第一作者叫Wenhan Ma。資料不多，只知道Wenhan是小米LLM-Core團隊的研究員，而且還是實習生。此前，他還曾參與過小米MiMo模型與多模態MiMo-VL的研發。相比起來，這篇論文的兩名通訊作者，大家可能更耳熟能詳一點。一位是羅福莉。羅福莉本科畢業於北京師範大學電腦專業，碩士階段進入北京大學計算語言學深造。期間，她在不少NLP頂級會議上都發表過論文。碩士畢業後，羅福莉加入阿里巴巴達摩院，擔任機器智能實驗室研究員，負責開發多語言預訓練模型VECO，並推動AliceMind項目的開源工作。2022年，羅福莉加入DeepSeek母公司幻方量化從事深度學習相關工作，後又擔任DeepSeek的深度學習研究員，參與研發DeepSeek-V2等模型。截至目前，羅福莉的學術論文總引用次數已超過1.1萬次，僅在今年一年內就新增了約八千次引用。而另一名通訊作者，正是羅福莉的北大碩士導師——穗志方。穗教授是北京大學資訊科學技術學院的教授、博士生導師，長期從事計算語言學、文字挖掘與知識工程研究，在NLP與AI領域發表了大量高水平論文。但稍有有個新問題，在這篇論文成果的單位註釋中，羅福莉的單位沒有被明確，她既不是北大的，也沒有被歸入小米。咦……依然是獨立研究者？ (量子位)
小米最新大模型成果！羅福莉現身了
科技#小米集團#AI大模型#MoE