剛剛，DeepSeek開源週第二彈發布，第一個用於MoE模型訓練和推理的開源EP通信庫，發布不到一小時，GitHub Star數已上千。 網友：突破AI基礎設施極限。 DeepEP是為混合專家（MoE）和專家並行（EP）量身定制的通訊庫，其提供高吞吐量且低延遲的全對全GPU內核，這些內核也被稱為MoE調度與合併。 高效能：支援用於節點內和節點間通訊的NVLink和RDMA，以及用於非對稱域頻寬轉送的最佳化核心；

DeepSeek OpenSourceWeek 的第二天，發布專家並行通訊庫DeepEP：首個面向MoE模型的開源EP通訊庫，支援實現了混合專家模型訓練推理的全端優化！感覺繼續深度綁定老黃的GPU，又和老黃對著乾😁 DeepEP 的核心亮點 ✅ 高效優化的All-to-All 通訊：  DeepEP 提供了高性能、低延遲的GPU 集群內和集群間all-to-all 通信內核，這正是MoE 模型中專家路由和組合的關鍵所在。 你可以把它理解為MoE 模型資料高速公路的升級版！ ✅ 叢集內(Intranode) 與叢集間(Internode) 全面支援： 無論是單機多卡，或是多機多卡，DeepEP 都能完美駕馭。 它充分利用 NVLink 和 RDMA 等高速互聯技術，最大化通訊頻寬

運算資源分配能力再上一層樓 隨著AI 模型規模的不斷擴大，從數十億參數到數萬億參數，高效的通訊將成為關鍵瓶頸。 DeepSeek 這次帶來的DeepEP ，主打低延遲內核，其支援FP8 的特性特別適合資源受限或即時性要求高的場景。 特別是在處理MoE 分派和組合的通訊模式上，DeepEP 針對高吞吐量和低延遲的GPU 內核，專門優化了MoE 模型中資料路由和輸出的整合過程。 優化之後的MoE 模型的通訊性能，支援低精度操作（如FP8），並提供了針對非對稱域頻寬轉送的核心。這使得在分散式GPU 環境中，MoE 模型的訓練和推理更加高效和可擴展，尤其是在多節點叢集中，能夠顯著降低通訊開銷並提高整體效能。

好消息如約而至，DeepSeek開源周第二彈來了！ DeepEP， 第一個用於MoE模型訓練和推理的開源EP通訊庫（expert parallelism，專家並行）。 它提供高吞吐量和低延遲的all-to-all GPU內核，也稱為MoE dispatch和combine。 該庫還支援低精度運算，包括FP8。