摩尔线程支持DeepSeek开源通信库DeepEP和并行算法DualPipe
我要评论DeepSeek开源周第四日，线程摩尔线程宣布已成功支持DeepSeek开源通信库DeepEP和并行算法DualPipe，支持并发布相关开源代码仓库：MT-DeepEP和MT-DualPipe。开源库
DeepEP是通信一个用于MoE（混合专家）模型训练和推理的开源EP（expert parallelism，专家并行）通信库，并行主要适用于大模型训练，算法特别是线程需要EP的集群训练。它通过优化通信信道的支持使用率，显著提升了训练效率。开源库摩尔线程基于MUSA ComputeCapability 3.1全功能GPU，通信第一时间适配了DeepEP，并行支持以下特性：
高效优化的算法 All-to-All 通信，支持 dispatch & combine
支持 MTLink + GPU（MUSA Compute Capability 3.1）节点内通信
训练及推理预填充阶段的线程高吞吐量计算核心
推理解码阶段的低延迟计算核心
原生支持 FP8 数据分发
灵活控制 GPU 资源，实现计算与通信的支持高效重叠
DualPipe是DeepSeek-V3提出的双向流水线并行算法，通过前向计算与后向计算阶段的开源库计算与通信完全重叠，显著减少了“流水线气泡”（设备空闲等待）。与传统流水线并行相比，DualPipe 采用双向数据流设计，使数据从两端相向处理，大幅提升了资源利用率与训练效率。
摩尔线程依托深度学习框架Torch-MUSA（已开源）和MUSA软件栈全方位的兼容性，实现了对DualPipe这一算法的高效支持。MT-DualPipe可以完整接入摩尔线程 MT-Megatron框架和MT-TransformerEngine框架（即将开源），实现DeepSeek V3训练流程的完整复现。
此外，MT-DualPipe结合MT-Megatron可以实现完整DeepSeek V3模型的MLP-FFN分离以及DW-DG分离，进一步降低气泡占比，优化通信效率。同时，MT-DualPipe与MT-TranformerEngine和MT-DeepEP的结合，可以利用MT-DeepEP和异步通信引擎实现更高效的通信掩盖，大大降低对计算资源的损耗。
DeepEP和DualPipe的第一时间适配，充分验证了摩尔线程MUSA架构和全功能GPU在生态兼容与快速适配上的强大优势。我们诚挚欢迎广大开发者下载体验，并期待您的反馈与建议。
关于摩尔线程
摩尔线程成立于2020年10月，以全功能GPU为核心，致力于向全球提供加速计算的基础设施和一站式解决方案，为各行各业的数智化转型提供强大的AI计算支持。
我们的目标是成为具备国际竞争力的GPU领军企业，为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。我们的愿景是为美好世界加速。
相关文章
1. CBB电容器的基本概念CBB电容器，全称为聚丙烯薄膜电容器，是一种以聚丙烯薄膜为介质的电容器。它具有自愈性、高稳定性、低损耗、高可靠性等优点，适用于高频、高压、高可靠性的场合。2. CBB电容器2026-07-10
海尔能否快速利用苹果给出的有限窗口期，最大限度的占据国内市场，并在国际市场上形成优势，并让U+真正成熟起来，迫使苹果在没有办法的情况下不离不弃?北京时间6月3日凌晨，苹果在全球开发者大会上发布了智能2026-07-10
变化是必然会发生的，跨越也并非没有可能。从昨天到今天，再到明天，我们仿佛感觉不到什么变化，人还是那些人，事还是那些事，一切都很熟悉。但是，变化是一定有的，而且它一定会到来！ 在全球空调行业，产业2026-07-10
近日，德国最著名的周刊之一《明镜周刊》刊登报道了题为《智能家居：苹果将计划进军家电自动化》文章，引起国内外媒体极大关注。而这一点已经于北京时间6月3日凌晨得到了证实，苹果在全球开发者大会上发布了智2026-07-10
光电传感器与其他传感器在多个方面存在显著的区别，以下是对这些区别的介绍：一、定义与原理光电传感器定义：光电传感器是采用光电元件作为检测元件的传感器，它利用光电效应来检测物体或信号的存在。原理：光电传感2026-07-10
6月10日深交所披露平台显示，6月6日，美的集团董事长、总裁方洪波增持美的集团000333）51万股，集团董事、副总裁袁利群增持50万股，增持涉及资金近1800万。 持续改善产品结构 高管增持体2026-07-10
最新评论