鞭牛士 2月27日消息,DeepSeek公布开源周第四天的开源项目——优化并行策略。
具体包括:DualPipe - 一种用于V3/R1训练中计算-通信重叠的双向流水线并行算法;EPLB - V3/R1的专家并行负载均衡器;分析V3/R1中的计算通信重叠。
此前,DeepSeek表示将于本周陆续开源5个代码库。
2月24日,DeepSeek正式启动“开源周”,首个开源的代码库为Flash MLA;2月25日,DeepSeek开源了用于MoE模型训练和推理的EP通信库DeepEP;2月26日,DeepSeek开源了支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的FP8通用矩阵乘法库DeepGEMM。