【新智元導讀】DeepSeek最後一天，送上了3FS檔案平行系統，以及資料處理框架Smallpond。五天開源連更，終於畫上了完美的句號。

最後一天，DeepSeek開源了全生命周期資料訪問引擎Fire-Flyer File System（3FS），以及基於3FS的資料處理框架Smallpond。

3FS（螢火蟲檔案系統）是一個充分利用現代SSD和RDMA網路頻寬的平行檔案系統，其特點是：

在180節點叢集中實現了6.6 TiB/s的總讀取吞吐量

在25節點叢集的GraySort基準測試中達到了3.66 TiB/min 的吞吐量

每個客戶端節點的KVCache查詢峰值吞吐量超過40+ GiB/s

採用分離式架構，確保了強一致性

全面支援V3/R1的訓練資料預處理、資料集載入、檢查點保存/多載、嵌入向量搜尋和KVCache查詢推理

Smallpond是輕量級的資料處理框架，其特點是：

可擴展性，能夠處理PB等級資料集

無需持續運行的服務，操作簡便

3FS和Smallpond兩大開放原始碼專案，正在為AI資料處理設立新的標準——超快的處理速度和無縫整合。

讓許多人驚嘆不已的是，DeepSeek竟自己編寫了分佈式檔案系統。

它的成功背後強大得理念，便是將小事做到極致。這種精神，體現了車庫駭客的精髓。

The Fire-Flyer File System（3FS）專為應對人工智慧訓練和推理任務挑戰而設計的高性能分佈式檔案系統。

項目連結：https://github.com/deepseek-ai/3FS

它採用現代固態硬碟（SSD）和遠端直接記憶體訪問（RDMA）網路技術，建構了共享儲存層，極大簡化了分佈式應用的開發過程。

分佈式架構：該系統整合了數千個SSD的高吞吐量和數百個儲存節點的網路頻寬，使得應用程式能夠無視位置差異，高效訪問儲存資源。

強一致性保證：通過採用鏈式複製與分配查詢（CRAQ）技術，確保了資料的一致性，使得應用程式程式碼更加簡潔易懂。

標準檔案介面：系統提供了基於事務性鍵值儲存（如FoundationDB）的無狀態中繼資料服務，使用的檔案介面通用且易於上手，無需學習新的儲存API。

資料準備：系統有效地將資料分析管道的輸出組織成分層目錄結構，並高效管理大量的中間資料。

資料載入最佳化：通過支援計算節點間對訓練樣本的隨機訪問，無需進行資料預取或洗牌操作，提升了資料處理效率。

高效檢查點支援：為大規模訓練任務提供高吞吐量的平行檢查點功能。

KVCache推理加速：提供了一種成本效益高的DRAM快取替代方案，具有高吞吐量和更大的儲存容量，適用於推理任務。

下圖展示了一個大型3FS叢集在執行讀壓力測試時的吞吐量表現。

該叢集包含180個儲存節點，每個節點均組態有2張200Gbps的IB網路卡和16塊14TiB的NVMe固態硬碟。

測試中使用了約500個客戶端節點，每個節點配備1張200Gbps的IB網路卡。

在存在訓練任務背景流量的情況下，叢集的總讀取吞吐量達到了約6.6TiB/s。

採用GraySort基準測試，評估smallpond在處理大規模資料集時的排序能力。

實現採用了兩階段的處理方法：(1) 首先通過鍵的前綴位進行資料重排來分區資料，(2) 然後在各個分區內部進行排序。這兩個階段的資料讀寫都依賴於3FS。

測試所用的叢集包括25個儲存節點（每個節點有2個NUMA域，每個NUMA域運行1個儲存服務，每個節點配備2×400Gbps網路卡）和50個計算節點（每個節點有2個NUMA域，192個物理核心，2.2 TiB記憶體，每個節點配備1×200 Gbps網路卡）。

在8,192個分區中排序110.5 TiB的資料，整個過程耗時30分鐘14秒，平均吞吐量達到3.66TiB/min。

KVCache是一種用於提升大型語言模型（LLM）推理效率的技術。

它通過快取解碼器層中先前token的鍵和值向量，避免了重複的計算過程。

頂部圖表展示了所有KVCache客戶端的讀取吞吐量，其中既包括了峰值也包括了平均值，峰值吞吐量可達40GiB/s。

底部圖表則展示了在同一時間段內，垃圾收集（GC）過程中操作次數的變化情況。

3FS系統由四個主要部分組成：叢集管理器、中繼資料服務、儲存服務和客戶端。這些元件通過RDMA網路（InfiniBand或RoCE）相互連接。

中繼資料和儲存服務定期向叢集管理器傳送心跳訊號，以報告其狀態。叢集管理器負責處理叢集成員的變更，並將叢集的組態資訊分發到其他服務和客戶端。

系統中部署了多個叢集管理器，其中一個被選為主管理器。當主管理器發生故障時，另一個管理器會被提升為主管理器。

叢集組態資訊通常儲存在一個可靠的分佈式協調服務中，例如ZooKeeper或etcd。在生產環境中，為了減少依賴性，我們使用與檔案中繼資料相同的鍵值儲存來保存叢集組態。

檔案中繼資料操作（如打開或建立檔案/目錄）被傳送到中繼資料服務，由其實現檔案系統的語義。由於檔案中繼資料是儲存在一個事務性鍵值儲存（例如FoundationDB）中的，因此中繼資料服務是無狀態的，客戶端可以連接到任何中繼資料服務。

每個儲存服務管理一些本地SSD，並提供一個塊儲存介面。

為了確保強一致性，儲存服務實現了鏈式複製與分配查詢（CRAQ）機制。CRAQ的寫入全部讀取任意的方法有助於充分利用SSD和RDMA網路的高吞吐量。在3FS中，一個檔案被分割成相等大小的資料區塊，並在多個SSD上複製。

使用以下命令從GitHub克隆3FS倉庫到本地檔案系統：

git clone https://github.com/deepseek-ai/3fs

克隆完成後，進入3FS目錄，運行以下命令來更新並初始化所有子模組：

根據Ubuntu版本安裝所需的依賴項：

# for Ubuntu 20.04.apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \  libgoogle-perftools-dev google-perftools libssl-dev ccache libclang-rt-14-dev gcc-10 g++-10 libboost1.71-all-dev
# for Ubuntu 22.04.apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \  libgoogle-perftools-dev google-perftools libssl-dev ccache gcc-12 g++-12 libboost-all-dev

確保安裝了libfuse 3.16.1或更新版本，FoundationDB 7.1或更新版本，以及Rust工具鏈。

cmake -S . -B build -DCMAKE_CXX_COMPILER=clang++-14 -DCMAKE_C_COMPILER=clang-14 -DCMAKE_BUILD_TYPE=RelWithDebInfo -DCMAKE_EXPORT_COMPILE_COMMANDS=ONcmake --build build -j 32

Smallpond：基於3FS的資料處理框架

項目連結：https://github.com/deepseek-ai/smallpond

目前smallpond支援從3.8到3.12的Python版本。

剛剛 DeepSeek開源周最後一個開源日推出資料處理神器：Fire-Flyer File System (3FS) 和 Smallpond， 6.6 TiB/s 聚合吞吐，PB級 資料輕鬆處理

3FS 是 “所有 DeepSeek 資料訪問的動力引擎 (Thruster)”。 Fire-Flyer File System (3FS) 是一款高性能分佈式檔案系統，它充分利用了現代 SSD 固態硬碟和 RDMA (遠端直接記憶體訪問) 網路的強大頻寬，為 AI 工作負載提供了卓越的儲存基礎設施

• 在一個由 180 個節點組成的叢集上，實現了6.6 TiB/s 的聚合讀取吞吐量

• 在 25 節點的叢集上，GraySort 基準測試中達到了3.66 TiB/min 的吞吐量

• 每個客戶端節點在 KVCache 查詢中實現了超過 40 GiB/s 的峰值吞吐量

解耦架構與強一致性： 採用解耦架構，結合數千個 SSD 的吞吐量和數百個儲存節點的網路頻寬，使應用程式能夠以與資料位置無關的方式訪問儲存資源。同時，通過實現帶有分配查詢的鏈式複製 (CRAQ) 來保證 強一致性，簡化了應用程式程式碼並使其易於理解。

標準檔案介面： 採用無狀態中繼資料服務，並由事務性鍵值儲存 (例如 FoundationDB) 支援，提供了通用的檔案介面，無需開發者學習新的儲存 API。

多樣化的工作負載支援： 能夠高效地處理各種 AI 工作負載，包括：

• 資料準備: 有效地組織資料分析管道的輸出到分層目錄結構中，並管理大量的中間輸出。

• 資料載入器: 消除預取或洗牌資料集的需求，支援跨計算節點隨機訪問訓練樣本。

• 檢查點: 支援大規模訓練的高吞吐量平行檢查點。

• KVCache 推理快取: 為推理提供經濟高效的 DRAM 快取替代方案，提供高吞吐量和更大的容量。

Smallpond 是一款建構於 DuckDB 和 3FS 之上的輕量級資料處理框架。它旨在簡化在 3FS 上進行資料處理的流程，並充分利用 DuckDB 的高性能分析能力

• 輕量級和易用性： 提供簡潔的 API 和易於理解的工作流程，方便使用者快速上手。

• 高性能資料處理： 由 DuckDB 驅動，提供卓越的資料處理性能，能夠高效處理大規模資料集。

• PB 等級資料可擴展性： 基於 3FS 建構，具備處理 PB (Petabyte) 等級資料的能力。

• 便捷的操作： 提供簡單的操作，無需長時間運行的服務即可完成資料處理任務。

• 快速上手： Smallpond 提供了快速入門指南，使用者可以輕鬆下載示例資料並開始使用 DuckDB SQL 進行資料處理。

Smallpond 框架巧妙地利用了 3FS 作為其底層儲存引擎，充分發揮了 3FS 高性能、可擴展的特性。使用者可以使用 Smallpond 輕鬆地在 3FS 上進行資料處理，例如執行 SQL 查詢、資料轉換和分析等操作。 GraySort 基準測試的例子也展示了 Smallpond 如何利用 3FS 的強大性能來處理大規模資料集排序任務 (AI寒武紀)

#3FS 你可以在這裡找到鉅亨號中所有使用「3FS」為關鍵字所發布的內容