【DeepSeek】開源AI資料處理神器：6.6TiB/s驚人吞吐！還能擴展至PB級資料

2025/02/28

•

源神真香！祭出AI資料處理神器。

智東西2月28日報導，剛剛，DeepSeek發佈開源周第五彈🚀——Fire-Flyer檔案系統（3FS），一種利用現代SSD和RDMA網路的全部頻寬的平行檔案系統，適用於所有人的Thruster DeepSeek資料訪問。

⚡在180節點叢集中實現6.6 TiB/s的總讀取吞吐量

⚡在25節點叢集中，GraySort基準測試的吞吐量為3.66 TiB/min

⚡KVCache尋找每個客戶端節點的峰值吞吐量為40+ GiB/s

🧬具有強一致性語義的分解架構

✅在V3/R1中訓練資料預處理、資料集載入、檢查點保存/重新載入、嵌入向量搜尋和KVCache尋找以進行推理

📥3FS → github.com/deepseek-ai/3FS

⛲Smallpond - 基於3FS的資料處理框架 → github.com/deepseek-ai/sm allpond

評論區湧入一片誇聲，稱讚3FS速度快得驚人，為AI資料處理樹立了新標竿——極快的速度和無縫整合。

也有網友繼續催更：接下來我們需要視訊模型、V4、R2，全世界都在等！

還有人看熱鬧不嫌事大，在評論區曬出今天OpenAI新發佈的GPT-4.5與DeepSeek最新淡季折扣價對比圖。

根據GitHub項目公開資訊，今日新開放原始碼的3FS和Smallpond具體資訊如下：

1、Fire-Flyer檔案系統

Fire-Flyer檔案系統（3FS）是一種高性能分佈式檔案系統，旨在應對AI訓練和推理工作負載的挑戰。它利用現代SSD和RDMA網路來提供共享儲存層，從而簡化分佈式應用程式的開發。

3FS的主要功能和優勢包括：

（1）性能和可用性

分解式架構結合了數千個SSD的吞吐量和數百個儲存節點的網路頻寬，使應用程式能夠以不受位置影響的方式訪問儲存資源。
強一致性實現帶有分配查詢（CRAQ）的鏈式複製以實現強一致性，從而使應用程式程式碼簡單且易於推理。
檔案介面開發由事務鍵值儲存（例如FoundationDB）支援的無狀態中繼資料服務。檔案介面眾所周知且隨處可用。無需學習新的儲存API。

（2）多樣化的工作負載

資料準備將資料分析管道的輸出組織成分層目錄結構，並有效地管理大量中間輸出。
資料載入器通過跨計算節點隨機訪問訓練樣本，消除了預取或混洗資料集的需要。
檢查點支援大規模訓練的高吞吐量平行檢查點。
用於推理的KVCache提供了一種基於DRAM的快取的經濟高效的替代方案，可提供高吞吐量和更大的容量。

其表現如下：

（1）峰值吞吐量

下圖展示了一個大型3FS叢集的讀壓測吞吐情況。該叢集由180個儲存節點組成，每個儲存節點配備2×200Gbps InfiniBand網路卡和16個14 TiB NVMe SSD。大約500+個客戶端節點用於讀壓測，每個客戶端節點組態1x200Gbps InfiniBand網路卡。在訓練作業的背景流量下，最終聚合讀吞吐量達到約6.6 TiB/s。

（2）灰度排序

DeepSeek利用GraySort基準對smallpond進行了評估，該基準可衡量大規模資料集的排序性能。其實現採用兩階段方法：(1) 使用鍵的前綴位通過shuffle對資料進行分區，以及 (2) 分區內排序。兩個階段都從3FS讀取資料/向3FS寫入資料。

測試叢集由25個儲存節點（2個NUMA域/節點、1個儲存服務/NUMA、2×400Gbps NIC/節點）和50個計算節點（2個NUMA域、192個物理核心、2.2TiB RAM和1×200 Gbps NIC/節點）組成。對8192個分區中的110.5 TiB資料進行排序耗時30分14秒，平均吞吐量為3.66 TiB/分鐘。