产品简介
端到端语音模型有个老毛病,官方内部常叫开口降智。文本模型懂的那些知识、能做的那些推理,一转到语音对话就变薄,句子顺了,脑子钝了。混元这次的 Hy Realtime 把主攻方向放在这里,11 月 13 日发布,给的数字是迁移保留率从 21% 提到 69%。
这个数字得看清口径。它指的是后训练阶段,高质量文本数据向语音任务迁移时的能力保留比例,不是跑分,也不是准确率。换句话说,以前把一套会推理的模型塞进语音链路,只剩下两成多的智力可用,现在能留下接近七成。方法上是重构口语化改写的数据生产链路,让表达更像人说话的同时不把逻辑链条剪掉。
两项新能力里,唱歌更容易被注意,工具调用其实更实用。工具调用做的事是让模型自己判断要不要联网,把搜索决策、调用工具、生成回答三件事压进一次推理里,而不是先判断、再调接口、再组织语言分三段走。分段的代价在语音场景特别明显,用户听到的是中间那几秒空白。
唱歌来自与腾讯音乐 TME 灵音 AI 团队的联合设计。点歌不是一句话匹配一首,而是六个维度可以叠加:歌手、专辑、曲风、语种、发行年份、热度。官方给的例子是来首 2010 到 2020 年之间的英文民谣,模型要同时解析时间段、语种、曲风三个条件再匹配。更实用的是承接前文,用户可以在上一轮结果上换语种、缩窄年份,不用每次重新描述。
口语理解那一侧补的是真实对话里的残缺输入。说半句、含糊、中途改口纠正自己,模型结合上下文还原意图。这类能力很难有漂亮数字,但对体感影响最大,因为人说话本来就不完整。
渠道这一栏要给清楚,别误判。它已经在元宝语音通话和腾讯客服上线,腾讯云 API 只是近期计划,开发者现在拿不到接口。想试的人在最新版元宝 App 的语音通话里选初语音色。官方写明了下一步才做双工交互与长期个性化记忆,所以当前不是全双工,打断与抢话的处理能力还有限。
榜单部分要谨慎读。内部专家盲评、自建基础智商评测集,以及几个公开 benchmark 的分数,都出现在官方材料里,没有第三方复核,也没有给出可复现的配置。这类数字可以用来说明方向,不适合拿去跟别家横向排位。
核心功能
- Agentic 工具调用:模型根据上下文判断是否需要联网,把搜索决策、调用工具与生成回答合并成一次推理,减少语音对话里那种明显的停顿。
- 唱歌与六维点歌:与腾讯音乐 TME 灵音 AI 团队联合设计,可按歌手、专辑、曲风、语种、发行年份、热度组合点歌,也能在上一轮结果上继续筛选。
- 不完整输入的意图还原:针对说半句、口齿含糊、中途改口这类真实口语,结合对话上下文还原用户真正想要什么,长对话里指令遵循更稳。
- 边生成文本边合成语音:文本与语音协同序列建模,不必等整段文字写完再开口,首响延迟因此下降,适合流式交互。
- 情感与韵律的表达升级:官方称音质、发音、韵律、情感四个维度较上一代均有提升,对话内情绪变化与递进更自然,语调处理更多样。
- 已进两条业务线:在元宝语音通话与腾讯客服等产品上线,不是实验室 demo。体验入口是元宝 App 语音通话里的初语音色。
适合谁用
以下类型的用户会特别受益于 腾讯混元 Hy Realtime:
- 在元宝语音通话里问实时信息,让模型自己决定要不要联网查
- 开车或手上不方便时用语音点歌,按年代、语种、曲风组合描述
- 做中文客服语音入口,处理用户说半句或中途改口的真实对话
- 给硬件与车载场景做语音助手,要求首响快、能接工具
优点亮点
- 跨模态迁移保留率从 21% 提到 69%,语音场景里的推理能力有了可感的改善
- 工具调用把搜索决策与作答合并,减少语音交互中的等待感
- 点歌支持六维组合与上下文承接,接近人说话时逐步收窄的方式
- 已经跑在元宝与腾讯客服这类大流量产品上,不是只发论文
价格与方案
面向用户的体验免费,元宝 App 语音通话里可选初语音色。腾讯云 API 尚未开放,官方口径是近期上线并对外提供 API 服务,价格未公布。
总结与建议
它解决的是语音模型的老问题,不是加一个花哨功能。保留率从 21% 到 69% 意味着语音链路里终于能留住推理能力,工具调用则把等待压短。唱歌最容易被传播,但它解决的是体验层面的新鲜感,真正的难点在前两项。现在只有元宝与腾讯客服两个入口,开发者要等腾讯云 API 开放。
版本演进
- 发布 (2026-11-13):腾讯混元发布实时语音模型 Hy Realtime,新增 Agentic 工具调用与唱歌两项能力。工具调用由模型判断是否联网,把搜索决策、调用工具与生成回答合并为一次推理;唱歌与腾讯音乐 TME 灵音 AI 团队联合设计,支持按歌手、专辑、曲风、语种、发行年份与热度六维组合点歌并承接上下文。后训练阶段重构口语化数据生产链路,高质量文本向语音任务的迁移保留率从 21% 提升至 69%。模型已在元宝语音通话与腾讯客服上线,腾讯云 API 列为近期计划,双工交互与长期个性化记忆为后续方向。