DeepSeek全面開源推理框架DeepInfer及Token編解碼元件deepseek-recipe，相容輝達與華為昇騰平台。基於該框架，DeepSeek V4.1 Flash單叢集日吞吐達155兆Token，按谷電價計算每卡每小時收入38美元。通過Prefill與Decode分離、KVCache復用及投機解碼等技術，DeepSeek旨在提升推理效率、降低算力成本與能源消耗。
DeepSeek進一步開放大模型推理基礎設施。
繼開源大模型、TileLang編譯工具及一系列推理算子庫後，DeepSeek宣佈全面開源內部推理框架DeepInfer，並同步開源Token編解碼元件deepseek-recipe，旨在幫助開發者和企業最佳化大規模模型部署，降低AI服務的算力成本與能源消耗。
DeepSeek介紹，基於DeepInfer，團隊已實現DeepSeek V4.1 Flash的高吞吐、低延遲大規模推理服務。目前，單一叢集的服務吞吐量達到每天155兆Token，按谷電價計算，每卡每小時收入為38美元。
推理框架是連接大模型能力與終端使用者的關鍵基礎設施。隨著AI應用呼叫量增長，推理服務的成本不僅取決於模型本身，還受到計算、通訊、任務調度及快取管理等環節的影響。如何在滿足延遲要求的同時提高有效吞吐，已成為大規模AI服務降本增效的重要環節。
01 相容輝達與華為昇騰，針對不同推理階段最佳化算力配置
DeepInfer整合高性能算子與深度最佳化的推理引擎，支援分佈式推理、推測解碼、SWA Bounded Replay及結構化輸出等能力，可在輝達與華為昇騰平台運行。未來，DeepSeek新模型的推理程式碼及後續性能最佳化也將在該框架中持續開源。
面對大規模AI呼叫需求，DeepSeek將推理系統的最佳化重點放在吞吐量與延遲上。系統採用Prefill與Decode分離部署：前者負責處理輸入提示詞，後者負責逐步生成Token。由於兩個階段的計算負載不同，分開部署可以獨立配置資源，分別最佳化首個Token生成時間和後續Token生成間隔。
在硬體組織上，DeepSeek使用常見的8卡機器承擔Prefill任務，並採用64至128卡超節點承擔Decode任務。同時，系統通過自動擴縮容動態調整兩個階段的實例比例，減少流量變化導致的資源錯配；在MoE模型推理中，則通過專家平行與動態負載平衡，降低不同計算卡之間的負載差異。
02 KVCache最長保留7天，減少重複計算開銷
快取復用是DeepSeek降低推理成本的另一項關鍵設計。隨著長上下文對話和AI Agent應用增多，相同前綴可能在不同請求中反覆出現。如果每次都重新處理這些內容，就會產生額外的計算開銷。
DeepSeek V4.1 Flash將KVCache分為Block KVCache和SWA KVCache兩部分，採用不同的記憶體策略。其中，Block KVCache記憶體在獨立的3FS分佈式檔案系統中，相關記憶體容量約為100 PiB。根據DeepSeek披露的資料，Agent流量的KVCache保留時間達到3天，聊天機器人流量則達到7天。
當後續請求命中已有快取時，系統可以復用此前的計算結果，減少重複的Prefill計算。DeepSeek披露，3FS記憶體叢集的峰值聚合讀取頻寬達到10 TiB/s，峰值聚合寫入頻寬約為850 GiB/s，以滿足大規模快取讀寫需求。
對於主要在活躍會話內短期復用的SWA KVCache，DeepSeek則選擇保留在機器記憶體中，不進行持久化記憶體。線上資料顯示，這部分快取的保留時間約為180秒，命中率超過98%。
針對SWA KVCache未命中的情況，DeepSeek採用SWA Bounded Replay機制，僅重算最近128個Token，並將注意力窗口限制在重算區間內，以降低快取缺失帶來的額外計算成本。
03 投機解碼提升吞吐，編解碼元件同步開源
除快取復用外，DeepSeek還通過投機解碼和非同步調度提高推理效率。
DeepSeek採用DSpark投機解碼框架，根據候選Token的預期接受機率動態決定驗證範圍，避免將驗證算力浪費在低接受機率的候選結果上。DeepSeek披露，線上部署中，與固定驗證5個Token的方式相比，變長驗證使吞吐提升6%。
在調度環節，系統通過CPU與GPU之間的非同步協作，讓請求調度、前向計算和採樣等操作儘可能重疊，減少裝置等待時間。此外，DeepInfer支援結構化輸出，可依據JSON Schema、正規表示式等約束控制模型生成結果，滿足特定應用對輸出格式的要求。
DeepSeek還同步開源生產級Token編解碼元件deepseek-recipe。該元件支援Chat Completions API、Responses API和Messages API等主流介面，並通過特殊Token邊界識別、普通文字分段平行編碼及流式輸出解析等機制，提升長文字處理效率，確保第三方部署的API處理邏輯與官方服務保持一致。
不過，DeepSeek並未開放推理系統的全部元件。由於KVCache管理和負載平衡部分與內部基礎設施耦合較深，相關程式碼目前尚未完整開源。
從模型、算子庫到大規模推理框架，DeepSeek此次進一步擴展了開源技術堆疊的覆蓋範圍。對於開發者和企業而言，這有望降低建構私有化及公有雲AI服務的技術門檻；對於大模型行業而言，如何提高推理吞吐、復用計算結果並適配不同硬體平台，也正成為控制AI服務成本的重要方向。 (硬AI)