DeepSeek开源第四弹：并行优化策略3项齐开

2025年2月27日，DeepSeek宣布开源其第四弹内容，聚焦并行优化策略，共推出三项关键优化技术。

第一项是DualPipe，一种双向流水线并行算法，用于V3/R1模型训练，通过重叠计算与通信减少空闲时间。

第二项是EPLB（Expert Parallelism Load Balancer，专家并行负载均衡器），针对MoE（混合专家）模型在分布式训练和推理中的负载不平衡问题，通过冗余专家策略和打包技术确保不同GPU间负载平衡。

第三项分享了来自训练和推理框架的性能分析数据，使用PyTorch Profiler采集，帮助社区了解通信计算重叠策略和低级实现细节。

此次开源的并行优化策略，展示了DeepSeek团队在最大限度利用GPU能力方面的精细优化技术，有望对AI Infra层的从业者产生深远影响。