DeepSeek開源周最后一彈：超快的數(shù)據(jù)存儲和訪問方式3FS
加入技術(shù)交流群
2月28日消息，今日，DeepSeek開源周第五天，也是最后一天，亮出的是3FS，一種高性能并行文件系統(tǒng)。
本文引用地址：http://www.biyoush.com/article/202502/467432.htm
3FS（Fire-Flyer File System）專為充分利用現(xiàn)代固態(tài)硬盤（SSD）和遠(yuǎn)程直接內(nèi)存訪問（RDMA）網(wǎng)絡(luò)的帶寬而設(shè)計，能夠加速對數(shù)據(jù)存儲和訪問。
據(jù)介紹，在180節(jié)點的集群中，3FS能夠提供高達(dá)6.6 TiB/s的聚合讀取吞吐量。此外，在25節(jié)點的集群上，3FS通過GraySort基準(zhǔn)測試，達(dá)到了3.66 TiB/min的吞吐量。
3FS不僅在數(shù)據(jù)吞吐量上表現(xiàn)突出，還在單客戶端節(jié)點的KVCache查詢中，達(dá)到了每秒40+ GiB的峰值吞吐量。其去中心化架構(gòu)和強(qiáng)一致性語義，確保了在各種分布式應(yīng)用場景中，數(shù)據(jù)的高效訪問和一致性維護(hù)。
特別是在V3/R1版本中，3FS支持訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、檢查點保存與重載、嵌入向量搜索和KVCache查詢等關(guān)鍵功能。
評論