源神真香！祭出AI資料處理神器。

智東西2月28日報導，剛剛，DeepSeek發佈開源周第五彈🚀——Fire-Flyer檔案系統（3FS），一種利用現代SSD和RDMA網路的全部頻寬的平行檔案系統，適用於所有人的Thruster DeepSeek資料訪問。

⚡在180節點叢集中實現6.6 TiB/s的總讀取吞吐量

⚡在25節點叢集中，GraySort基準測試的吞吐量為3.66 TiB/min

⚡KVCache尋找每個客戶端節點的峰值吞吐量為40+ GiB/s

🧬具有強一致性語義的分解架構

✅在V3/R1中訓練資料預處理、資料集載入、檢查點保存/重新載入、嵌入向量搜尋和KVCache尋找以進行推理

⛲Smallpond - 基於3FS的資料處理框架 → github.com/deepseek-ai/sm allpond

評論區湧入一片誇聲，稱讚3FS速度快得驚人，為AI資料處理樹立了新標竿——極快的速度和無縫整合。

也有網友繼續催更：接下來我們需要視訊模型、V4、R2，全世界都在等！

還有人看熱鬧不嫌事大，在評論區曬出今天OpenAI新發佈的GPT-4.5與DeepSeek最新淡季折扣價對比圖。

根據GitHub項目公開資訊，今日新開放原始碼的3FS和Smallpond具體資訊如下：

Fire-Flyer檔案系統（3FS）是一種高性能分佈式檔案系統，旨在應對AI訓練和推理工作負載的挑戰。它利用現代SSD和RDMA網路來提供共享儲存層，從而簡化分佈式應用程式的開發。

分解式架構結合了數千個SSD的吞吐量和數百個儲存節點的網路頻寬，使應用程式能夠以不受位置影響的方式訪問儲存資源。

強一致性實現帶有分配查詢（CRAQ）的鏈式複製以實現強一致性，從而使應用程式程式碼簡單且易於推理。

檔案介面開發由事務鍵值儲存（例如FoundationDB）支援的無狀態中繼資料服務。檔案介面眾所周知且隨處可用。無需學習新的儲存API。

資料準備將資料分析管道的輸出組織成分層目錄結構，並有效地管理大量中間輸出。

資料載入器通過跨計算節點隨機訪問訓練樣本，消除了預取或混洗資料集的需要。

檢查點支援大規模訓練的高吞吐量平行檢查點。

用於推理的KVCache提供了一種基於DRAM的快取的經濟高效的替代方案，可提供高吞吐量和更大的容量。

下圖展示了一個大型3FS叢集的讀壓測吞吐情況。該叢集由180個儲存節點組成，每個儲存節點配備2×200Gbps InfiniBand網路卡和16個14 TiB NVMe SSD。大約500+個客戶端節點用於讀壓測，每個客戶端節點組態1x200Gbps InfiniBand網路卡。在訓練作業的背景流量下，最終聚合讀吞吐量達到約6.6 TiB/s。

DeepSeek利用GraySort基準對smallpond進行了評估，該基準可衡量大規模資料集的排序性能。其實現採用兩階段方法：(1) 使用鍵的前綴位通過shuffle對資料進行分區，以及 (2) 分區內排序。兩個階段都從3FS讀取資料/向3FS寫入資料。

測試叢集由25個儲存節點（2個NUMA域/節點、1個儲存服務/NUMA、2×400Gbps NIC/節點）和50個計算節點（2個NUMA域、192個物理核心、2.2TiB RAM和1×200 Gbps NIC/節點）組成。對8192個分區中的110.5 TiB資料進行排序耗時30分14秒，平均吞吐量為3.66 TiB/分鐘。

KVCache是一種用於最佳化大語言模型推理過程的技術。它通過在解碼器層中快取先前標記的鍵和值向量來避免冗餘計算。上方的圖展示了所有KVCache客戶端的讀取吞吐量，突出顯示了峰值和平均值，峰值吞吐量高達40 GiB/s。下圖顯示了同一時間段內垃圾回收（GC）中刪除操作的IOPS。

Smallpond是一個基於DuckDB和3FS的一個輕量級資料處理框架，特色包括：

🚀 由DuckDB提供支援的高性能資料處理

🛠 操作簡單，無需長時間運行服務

剛剛 DeepSeek開源周最後一個開源日推出資料處理神器：Fire-Flyer File System (3FS) 和 Smallpond， 6.6 TiB/s 聚合吞吐，PB級 資料輕鬆處理

3FS 是 “所有 DeepSeek 資料訪問的動力引擎 (Thruster)”。 Fire-Flyer File System (3FS) 是一款高性能分佈式檔案系統，它充分利用了現代 SSD 固態硬碟和 RDMA (遠端直接記憶體訪問) 網路的強大頻寬，為 AI 工作負載提供了卓越的儲存基礎設施

• 在一個由 180 個節點組成的叢集上，實現了6.6 TiB/s 的聚合讀取吞吐量

• 在 25 節點的叢集上，GraySort 基準測試中達到了3.66 TiB/min 的吞吐量

• 每個客戶端節點在 KVCache 查詢中實現了超過 40 GiB/s 的峰值吞吐量

解耦架構與強一致性： 採用解耦架構，結合數千個 SSD 的吞吐量和數百個儲存節點的網路頻寬，使應用程式能夠以與資料位置無關的方式訪問儲存資源。同時，通過實現帶有分配查詢的鏈式複製 (CRAQ) 來保證 強一致性，簡化了應用程式程式碼並使其易於理解。

標準檔案介面： 採用無狀態中繼資料服務，並由事務性鍵值儲存 (例如 FoundationDB) 支援，提供了通用的檔案介面，無需開發者學習新的儲存 API。

多樣化的工作負載支援： 能夠高效地處理各種 AI 工作負載，包括：

• 資料準備: 有效地組織資料分析管道的輸出到分層目錄結構中，並管理大量的中間輸出。

• 資料載入器: 消除預取或洗牌資料集的需求，支援跨計算節點隨機訪問訓練樣本。

• 檢查點: 支援大規模訓練的高吞吐量平行檢查點。

• KVCache 推理快取: 為推理提供經濟高效的 DRAM 快取替代方案，提供高吞吐量和更大的容量。

Smallpond 是一款建構於 DuckDB 和 3FS 之上的輕量級資料處理框架。它旨在簡化在 3FS 上進行資料處理的流程，並充分利用 DuckDB 的高性能分析能力

• 輕量級和易用性： 提供簡潔的 API 和易於理解的工作流程，方便使用者快速上手。

• 高性能資料處理： 由 DuckDB 驅動，提供卓越的資料處理性能，能夠高效處理大規模資料集。

• PB 等級資料可擴展性： 基於 3FS 建構，具備處理 PB (Petabyte) 等級資料的能力。

• 便捷的操作： 提供簡單的操作，無需長時間運行的服務即可完成資料處理任務。

• 快速上手： Smallpond 提供了快速入門指南，使用者可以輕鬆下載示例資料並開始使用 DuckDB SQL 進行資料處理。

Smallpond 框架巧妙地利用了 3FS 作為其底層儲存引擎，充分發揮了 3FS 高性能、可擴展的特性。使用者可以使用 Smallpond 輕鬆地在 3FS 上進行資料處理，例如執行 SQL 查詢、資料轉換和分析等操作。 GraySort 基準測試的例子也展示了 Smallpond 如何利用 3FS 的強大性能來處理大規模資料集排序任務 (AI寒武紀)

#PB級資料 你可以在這裡找到鉅亨號中所有使用「PB級資料」為關鍵字所發布的內容