当前位置: 首页 » 资讯 » 新科技 » 正文

DeepSeek开源第四弹:DualPipe、EPLB优化并行策略

IP属地 北京 编辑:顾雨柔 时间:2025-02-27 11:01:55

鞭牛士 2月27日消息,DeepSeek公布开源周第四天的开源项目——优化并行策略。

具体包括:DualPipe - 一种用于V3/R1训练中计算-通信重叠的双向流水线并行算法;EPLB - V3/R1的专家并行负载均衡器;分析V3/R1中的计算通信重叠。

此前,DeepSeek表示将于本周陆续开源5个代码库。

2月24日,DeepSeek正式启动“开源周”,首个开源的代码库为Flash MLA;2月25日,DeepSeek开源了用于MoE模型训练和推理的EP通信库DeepEP;2月26日,DeepSeek开源了支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的FP8通用矩阵乘法库DeepGEMM。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新