产品简介
HPC-Ops 是腾讯混元开源的高性能算子库，专为 LLM 推理场景设计，现已集成至 SGLang 推理框架。该库提供 Dynamic Attention、Router GEMM 和 Fused MoE 等核心算子，针对 MoE 模型服务中的三大热点路径进行深度优化，在真实生产环境中显著降低首 Token 延迟（TPOT），最高降幅达 48.8%。HPC-Ops 已在腾讯大规模生产环境中部署，是混元在线服务的关键基础设施。
核心功能
- 高性能 Attention 算子：针对混合长度解码场景实现负载均衡，支持实时 KV 缓存调度，并融合了注意力前奏（prologue）逻辑，减少内存访问开销，提升长序列下的推理效率。
- Router GEMM 精度感知优化：采用精度感知的 BF16 计算方案，在路由矩阵乘法中平衡路由精度与吞吐量，避免因低精度导致的专家选择偏差，同时保持高计算效率。
- Fused MoE 低延迟流水线：围绕小型专家 GEMM 的冗余开销进行融合设计，构建面向延迟的 MoE 执行流水线，减少内核启动和中间数据搬运，显著降低端到端推理延迟。
适合谁用
以下类型的用户会特别受益于 HPC-Ops：
- 大规模 MoE 模型在线推理服务
- 混合长度请求的 LLM 解码场景
- 对 TPOT 延迟敏感的实时 AI 应用
优点亮点
- 最高降低 TPOT 48.8%，显著提升推理响应速度
- 开源且已在腾讯生产环境验证，稳定性高
- 与 SGLang 无缝集成，部署便捷
- 针对 MoE 三大热点路径全面优化，覆盖完整推理链路
价格与方案
HPC-Ops 为开源项目，免费使用，无商业授权费用。用户可通过官方仓库获取源码并自行部署。
总结与建议
HPC-Ops 是腾讯混元开源的 LLM 推理算子库，通过高性能 Attention、Router GEMM 和 Fused MoE 算子，在 SGLang 框架下实现显著的 TPOT 降低，尤其适合 MoE 模型的大规模生产部署。其开源免费、生产验证和深度集成特性，使其成为追求低延迟 AI 推理的优选方案。