产品简介
ERNIE-5.5-Flash-Base 是百度在 2026 年 11 月 5 日开源的基座模型，280B 总参数、每 token 激活 14B 的稀疏 MoE，权重停在预训练终点，没有做任何中期或后期训练。这一点是它和常规开源模型最大的不同：拿到的是一个干净的起点，指令微调、领域继续预训练、强化学习用什么方法，全部由使用者自己决定，同一份 checkpoint 上还能横向比较不同后训练方案的效果。
预训练用了 33.5 万亿 token，训练上下文 128K，微调与推理的配置开到 1M，SGLang 与 vLLM 两个服务端都支持到 1048576 token。结构上 43 层，1 层 dense FFN 加 42 层 Multi-Router Latent MoE，每个 MoE 层 512 个路由专家取 top-10，另加 1 个共享专家，隐藏维度 4096，词表 201216。权重以 FP8 与 BF16 两种精度发布，在 Hugging Face 与 ModelScope 都能下载。
同规模基座的横向对比里它多数项领先：MMLU-Pro 78.4（DeepSeek-V4-Flash-Base 69.2、Hy3-preview-Base 66.9、MiMo-V2.5-Base 65.7），HumanEval+ 82.3，LiveCodeBench 40.1，LongBench-v2 48.7，RepoQA 91.7。少数项差距在对手一侧，比如 BBH 的 CoT 档 89.2 对 Hy3 的 90.0，ChineseSimpleQA 73.0 对 DeepSeek-V4 的 75.3。整体是宽而不极端的一条曲线。
核心功能
- 280B 总参、14B 激活的稀疏 MoE：43 层结构，1 层 dense FFN 加 42 层 Multi-Router Latent MoE，每层 512 个路由专家取 top-10 加 1 个共享专家，隐藏维度 4096，词表 201216。
- 纯预训练终点权重：没有中期训练也没有后训练，官方明说这是给领域适配、指令微调与强化学习研究用的起点，研究者可以在同一份权重上比较不同方法。
- 128K 训练上下文，1M 推理与微调：预训练最长 128K，发布的微调与推理配置开到 1048576 token，SGLang 与 vLLM 服务端均已支持。
- FP8 与 BF16 双精度权重：主发布为 FP8 混合精度，另有独立的 BF16 版本，Hugging Face 与 ModelScope 同步提供，自建推理可以按显存与框架选。
- 同规模基座基准多数领先：MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1、RepoQA 91.7、LongBench-v2 48.7，在代码与长上下文这两组上优势明显。
- 中文与多语言同档：CMMLU 90.0、ChineseSimpleQA 73.0、MMMLU-lite 81.0、MultiLoKo 43.3，中文能力没有因为做通用基座而被削薄。
适合谁用
以下类型的用户会特别受益于 百度 ERNIE-5.5-Flash-Base：
- 领域继续预训练：金融、医疗、法律这类垂直语料可以直接在这个 checkpoint 上接着训，不必从零起步。
- 后训练方法研究：同一份基座权重上并行跑 SFT、DPO、RL 几套方案，比较结果时不受底座差异干扰。
- 长上下文 RAG：1M 推理窗口省掉大量切片与检索工程，RepoQA 91.7 也说明仓库级代码检索的底子在。
- 自建推理服务：FP8 权重配 SGLang 或 vLLM，按自己的显存规模决定部署档位。
- 中文业务底座：CMMLU 与 ChineseSimpleQA 的成绩说明它适合做中文场景的微调起点。
优点亮点
- 开放的是预训练终点权重，做研究与做产品都不必先拆掉别人已经调过的偏好。
- 280B 总参只激活 14B，单步计算成本与显存占用按激活规模算，自建推理的门槛比稠密模型低得多。
- 训练上下文 128K，微调与推理配到 1M，长文档与仓库级代码可以整段喂。
- FP8 与 BF16 双份权重同时放出，Hugging Face 与 ModelScope 都能取，国内网络环境友好。
- 同规模基座里 MMLU-Pro、HumanEval+、LiveCodeBench、RepoQA 这几项领先，代码与长上下文底子扎实。
- 中文基准没有短板，CMMLU 90.0 与 ChineseSimpleQA 73.0 属于可直接用于中文业务微调的水位。
价格与方案
发布形式是权重开放下载，不按 token 计费。FP8 与 BF16 两份权重在 Hugging Face 与 ModelScope 免费获取，商用与再分发需遵守 ERNIE 5.5 Flash Base Model License Agreement v1.0，条款与常见的宽松开源协议不完全相同，落地前建议先通读。自建部署的开销取决于显卡、精度与推理框架，官方没有随权重给出托管 API 报价。
总结与建议
ERNIE-5.5-Flash-Base 把 280B 的稀疏 MoE 停在预训练终点开放出来，33.5 万亿 token 的底座配上 1M 的推理窗口，FP8 与 BF16 双份权重同步上架。它的价值不在开箱即用，而在于给研究和产品团队一个干净的起点，后训练怎么做、用什么数据，全部自己掌握。要直接聊天的成品得等官方后续的后训练版本，许可证条款也值得先读一遍。
版本演进
- 开源 ERNIE-5.5-Flash-Base，280B 总参 14B 激活 （2026-11-05）：百度于 2026 年 11 月 5 日开源基座模型 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 的预训练终点权重，未做中期或后期训练。模型为稀疏 MoE，280B 总参数、每 token 激活 14B，43 层结构含 1 层 dense FFN 与 42 层 Multi-Router Latent MoE，每层 512 个路由专家取 top-10 加 1 个共享专家，隐藏维度 4096，词表 201216。预训练 33.5 万亿 token，训练上下文 128K，微调与推理支持到 1048576 token，SGLang 与 vLLM 均已适配。权重以 FP8 与 BF16 两种精度在 Hugging Face 与 ModelScope 发布，商用需遵守 ERNIE 5.5 Flash Base Model License Agreement v1.0。同规模基座对比中 MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1、RepoQA 91.7、LongBench-v2 48.7 领先，官方称后续会推出后训练版本。