产品简介
Megatron-MUSA-Titan 是摩尔线程开源的大模型训练基础设施项目，2026 年 10 月对外公布。它专注一件事：在万卡级摩尔线程 GPU 集群上训练万亿参数以上的 MoE 模型，同时覆盖预训练与强化学习两个场景。
它不是又一个训练框架，而是架在 Megatron-LM 之上的一层适配与优化。思路是上游优先：通用训练算法与缺陷修复都提给上游，这个仓库只留两类东西，一是针对摩尔线程 GPU 与集群架构的大规模训练优化，二是暂时没法在上游解决的 MUSA 专有变通。得益于 MUSA C 与 CUDA C 的兼容以及 torch_musa 的 PyTorch 集成，官方说环境配好之后可以直接克隆官方 Megatron-LM、slime、miles 仓库跑训练，不用改上游代码。
优化项列得比较具体：分块 FP8 训练、基于异步拷贝引擎的 DeepEP 加速、专家并行通信与计算重叠、配合虚拟流水并行的激活卸载、基于 Mooncake RDMA 的流水通信重叠，以及分布式整体轨迹分析。
核心功能
- 万卡集群万亿参数：官方称已在万卡以上摩尔线程 GPU 集群上完成 1T MoE 预训练，取得较高的模型浮点利用率并保持训练稳定。训练需要配套的 MT-TransformerEngine 提供优化过的 FP8 支持。
- 预训练与强化学习共用一套底座：预训练走 Megatron，强化学习走 slime 与 miles，rollout 由 sglang_musa 生成。两条线的优化共享，不各写一遍。
- 分块 FP8 与通信重叠：支持大规模模型的分块 FP8 训练；用异步拷贝引擎跑 DeepEP 加速 MoE 的 token 分发与合并，并把专家并行通信与计算重叠起来；流水通信则借 Mooncake 的 RDMA 与计算重叠。
- 激活卸载省显存：配合虚拟流水并行与一前一后调度做激活卸载，在同样显存下容纳更深的流水与更大的批次。
- 万卡集群的性能诊断：分布式整体轨迹分析会实时读取所有 GPU 的 PyTorch trace，分析算子、通信、流水气泡率与拖后节点。官方称万卡级 1T MoE 的性能分析能在数小时内完成，并已用于实际优化。
- 三份现成配方：examples 里给了 Kimi-K2 的 1T MoE 配方，以及 DeepSeek-V3、Llama3 的预训练脚本。官方也提醒这些脚本是集群配置的起点，不是一键复现万卡基准的开关。
适合谁用
以下类型的用户会特别受益于 摩尔线程 Megatron-MUSA-Titan：
- 在国产 GPU 集群上预训练万亿参数 MoE 模型的团队。
- 已有 Megatron-LM 训练脚本，想把底座换到摩尔线程 GPU 的项目。
- 用 slime 或 miles 做强化学习后训练，rollout 走 SGLang 的流水线。
- 万卡集群训练效率排查，用分布式轨迹分析定位气泡与拖后节点。
- 显存吃紧时用激活卸载与虚拟流水并行换更深的流水。
- 参考 Kimi-K2 与 DeepSeek-V3 的配方搭自己的训练配置。
优点亮点
- 已在万卡级摩尔线程 GPU 集群完成 1T MoE 预训练。
- 上游优先，环境配好后可直接用官方 Megatron-LM、slime、miles，无需改上游代码。
- 预训练与强化学习共用一套优化，不重复实现。
- 分块 FP8、DeepEP over ACE、RDMA 流水重叠等优化项都写明。
- 分布式轨迹分析可在数小时内完成万卡 1T MoE 的性能分析。
- 提供 Kimi-K2、DeepSeek-V3、Llama3 三份配方。
价格与方案
开源项目，免费获取与修改。自建需要摩尔线程驱动、MUSA 工具链、带 torch_musa 的 PyTorch 与 MT-TransformerEngine，硬件成本按集群规模计。强化学习侧还需要 MUSA 兼容的 SGLang 环境。具体许可条款以仓库 LICENSE 为准。
总结与建议
这个项目的分量不在代码量，而在它把一条国产 GPU 上的万亿参数训练路径讲清楚了。上游优先的做法让迁移成本可控，环境配好后官方 Megatron 仓库直接能跑。要注意的是配方不等于复现，官方自己也说这些脚本是集群配置的起点，真上大规模之前得先在小集群验证环境与版本组合。
版本演进
- Megatron-MUSA-Titan 开源：万卡万亿参数 MoE 训练基础设施 （2026-10-28）：摩尔线程开源 Megatron-MUSA-Titan，面向万卡级摩尔线程 GPU 集群的 1T+ 参数 MoE 预训练与强化学习。基于 Megatron-LM 做 MUSA 适配，官方称已在万卡以上集群完成 1T MoE 预训练并保持稳定。优化含分块 FP8、DeepEP over 异步拷贝引擎、专家并行通信重叠、虚拟流水并行下的激活卸载、Mooncake RDMA 流水重叠与分布式整体轨迹分析。强化学习侧支持 slime 与 miles，rollout 用 sglang_musa。提供 Kimi-K2 1T、DeepSeek-V3、Llama3 三份配方。