【新智元導讀】DeepSeek最後一天，送上了3FS檔案平行系統，以及資料處理框架Smallpond。五天開源連更，終於畫上了完美的句號。

最後一天，DeepSeek開源了全生命周期資料訪問引擎Fire-Flyer File System（3FS），以及基於3FS的資料處理框架Smallpond。

3FS（螢火蟲檔案系統）是一個充分利用現代SSD和RDMA網路頻寬的平行檔案系統，其特點是：

在180節點叢集中實現了6.6 TiB/s的總讀取吞吐量

在25節點叢集的GraySort基準測試中達到了3.66 TiB/min 的吞吐量

每個客戶端節點的KVCache查詢峰值吞吐量超過40+ GiB/s

採用分離式架構，確保了強一致性

全面支援V3/R1的訓練資料預處理、資料集載入、檢查點保存/多載、嵌入向量搜尋和KVCache查詢推理

Smallpond是輕量級的資料處理框架，其特點是：

可擴展性，能夠處理PB等級資料集

無需持續運行的服務，操作簡便

3FS和Smallpond兩大開放原始碼專案，正在為AI資料處理設立新的標準——超快的處理速度和無縫整合。

讓許多人驚嘆不已的是，DeepSeek竟自己編寫了分佈式檔案系統。

它的成功背後強大得理念，便是將小事做到極致。這種精神，體現了車庫駭客的精髓。

The Fire-Flyer File System（3FS）專為應對人工智慧訓練和推理任務挑戰而設計的高性能分佈式檔案系統。

項目連結：https://github.com/deepseek-ai/3FS

它採用現代固態硬碟（SSD）和遠端直接記憶體訪問（RDMA）網路技術，建構了共享儲存層，極大簡化了分佈式應用的開發過程。

分佈式架構：該系統整合了數千個SSD的高吞吐量和數百個儲存節點的網路頻寬，使得應用程式能夠無視位置差異，高效訪問儲存資源。

強一致性保證：通過採用鏈式複製與分配查詢（CRAQ）技術，確保了資料的一致性，使得應用程式程式碼更加簡潔易懂。

標準檔案介面：系統提供了基於事務性鍵值儲存（如FoundationDB）的無狀態中繼資料服務，使用的檔案介面通用且易於上手，無需學習新的儲存API。

資料準備：系統有效地將資料分析管道的輸出組織成分層目錄結構，並高效管理大量的中間資料。

資料載入最佳化：通過支援計算節點間對訓練樣本的隨機訪問，無需進行資料預取或洗牌操作，提升了資料處理效率。

高效檢查點支援：為大規模訓練任務提供高吞吐量的平行檢查點功能。

KVCache推理加速：提供了一種成本效益高的DRAM快取替代方案，具有高吞吐量和更大的儲存容量，適用於推理任務。

下圖展示了一個大型3FS叢集在執行讀壓力測試時的吞吐量表現。

該叢集包含180個儲存節點，每個節點均組態有2張200Gbps的IB網路卡和16塊14TiB的NVMe固態硬碟。

測試中使用了約500個客戶端節點，每個節點配備1張200Gbps的IB網路卡。

在存在訓練任務背景流量的情況下，叢集的總讀取吞吐量達到了約6.6TiB/s。

採用GraySort基準測試，評估smallpond在處理大規模資料集時的排序能力。

實現採用了兩階段的處理方法：(1) 首先通過鍵的前綴位進行資料重排來分區資料，(2) 然後在各個分區內部進行排序。這兩個階段的資料讀寫都依賴於3FS。

測試所用的叢集包括25個儲存節點（每個節點有2個NUMA域，每個NUMA域運行1個儲存服務，每個節點配備2×400Gbps網路卡）和50個計算節點（每個節點有2個NUMA域，192個物理核心，2.2 TiB記憶體，每個節點配備1×200 Gbps網路卡）。

在8,192個分區中排序110.5 TiB的資料，整個過程耗時30分鐘14秒，平均吞吐量達到3.66TiB/min。

KVCache是一種用於提升大型語言模型（LLM）推理效率的技術。

它通過快取解碼器層中先前token的鍵和值向量，避免了重複的計算過程。

頂部圖表展示了所有KVCache客戶端的讀取吞吐量，其中既包括了峰值也包括了平均值，峰值吞吐量可達40GiB/s。

底部圖表則展示了在同一時間段內，垃圾收集（GC）過程中操作次數的變化情況。

3FS系統由四個主要部分組成：叢集管理器、中繼資料服務、儲存服務和客戶端。這些元件通過RDMA網路（InfiniBand或RoCE）相互連接。

中繼資料和儲存服務定期向叢集管理器傳送心跳訊號，以報告其狀態。叢集管理器負責處理叢集成員的變更，並將叢集的組態資訊分發到其他服務和客戶端。

系統中部署了多個叢集管理器，其中一個被選為主管理器。當主管理器發生故障時，另一個管理器會被提升為主管理器。

叢集組態資訊通常儲存在一個可靠的分佈式協調服務中，例如ZooKeeper或etcd。在生產環境中，為了減少依賴性，我們使用與檔案中繼資料相同的鍵值儲存來保存叢集組態。

檔案中繼資料操作（如打開或建立檔案/目錄）被傳送到中繼資料服務，由其實現檔案系統的語義。由於檔案中繼資料是儲存在一個事務性鍵值儲存（例如FoundationDB）中的，因此中繼資料服務是無狀態的，客戶端可以連接到任何中繼資料服務。

每個儲存服務管理一些本地SSD，並提供一個塊儲存介面。

為了確保強一致性，儲存服務實現了鏈式複製與分配查詢（CRAQ）機制。CRAQ的寫入全部讀取任意的方法有助於充分利用SSD和RDMA網路的高吞吐量。在3FS中，一個檔案被分割成相等大小的資料區塊，並在多個SSD上複製。

使用以下命令從GitHub克隆3FS倉庫到本地檔案系統：

git clone https://github.com/deepseek-ai/3fs

克隆完成後，進入3FS目錄，運行以下命令來更新並初始化所有子模組：

根據Ubuntu版本安裝所需的依賴項：

# for Ubuntu 20.04.apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \  libgoogle-perftools-dev google-perftools libssl-dev ccache libclang-rt-14-dev gcc-10 g++-10 libboost1.71-all-dev
# for Ubuntu 22.04.apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \  libgoogle-perftools-dev google-perftools libssl-dev ccache gcc-12 g++-12 libboost-all-dev

確保安裝了libfuse 3.16.1或更新版本，FoundationDB 7.1或更新版本，以及Rust工具鏈。

cmake -S . -B build -DCMAKE_CXX_COMPILER=clang++-14 -DCMAKE_C_COMPILER=clang-14 -DCMAKE_BUILD_TYPE=RelWithDebInfo -DCMAKE_EXPORT_COMPILE_COMMANDS=ONcmake --build build -j 32

Smallpond：基於3FS的資料處理框架

項目連結：https://github.com/deepseek-ai/smallpond

目前smallpond支援從3.8到3.12的Python版本。

#平行檔案 你可以在這裡找到鉅亨號中所有使用「平行檔案」為關鍵字所發布的內容