鞭牛士 2月28日消息,DeepSeek在官方X賬號上宣布開源3FS,它是所有Deepseek數(shù)據(jù)訪問的推力器。
據(jù)介紹,F(xiàn)ire-Flyer 文件系統(tǒng) (3FS)是一種利用現(xiàn)代SSD和RDMA網(wǎng)絡的全部帶寬的并行文件系統(tǒng)。
其特點有:180節(jié)點集群中的聚合讀取吞吐量為6.6TiB/s;25節(jié)點集群中 GraySort 基準測試的吞吐量為3.66TiB/分鐘;每個客戶端節(jié)點的 KVCache 查找峰值吞吐量超過40GiB/s;具有強一致性語義的分解架構(gòu)。
在V3/R1中進行訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、檢查點保存/重新加載、嵌入向量搜索和KVCache查找以進行推理。






京公網(wǎng)安備 11011402013531號