产品简介
做实时音视频对话,过去的标准做法是把语音识别、视觉理解、语音合成三个模型串起来。每一跳都丢一点信息,也加一点延迟。更麻烦的是什么时候该开口这件事,级联系统交给一个只听声音的小模块去猜,靠静音判断你有没有说完。猜早了打断你,猜晚了你说完半天它还没反应。
SeedRealtime 1.0 换的是另一条路。火山引擎 11 月 19 日把豆包实时音视频通话模型的 API 全量上线,声音、画面、时序与表达放进同一个端到端模型。画面因此能参与开口时机的判断,而不只是决定说什么。这个变化听起来小,落到体验上是两套东西。
官方演示里有两个场景能说明差别。机场里背景是陌生人闲聊,模型要分辨哪句是对它说的,在用户提问时调出刚才看到的大屏航班信息,再识别指示牌把人引到网约车上车点。多人聚餐时,它要分清桌上几个人分别是谁,记住各自身份,再按每个人不同的需求给旅行方案。这类任务级联系统也能做,只是指代一旦跨到画面上,比如用户说这个、那里,链路中间那层视觉信息早就丢干净了。
第二处区别在谁先开口。模型被设计成持续观察而不是等提问,察觉目标出现、画面状态变化或任务节点到达时,主动出声提醒。咖啡机的例子里,用户把整颗豆子倒进萃取手柄,它提醒要先研磨;萃取完看油脂和出液量,再建议缩短时间。学习场景里它盯着翻页,翻到指定章节就出声,顺口报出学习率、动量、权重衰减这些训练参数。
抗干扰决定这套东西能不能进真实场景。官方举的例子是家庭场景,妈妈在旁边忙,让模型陪女儿学动物英文,背景里爸爸在打电话人声不断,模型要一直跟着女孩手指的方向纠音造句。火山引擎给的口径是,相比依赖 ASR、VLM、TTS 串联的级联系统,音视频对话节奏问题减少了一半,单次对话完整顺畅交流的概率也有明显提升。这个一半是官方内部对比数据,没有给测试集与复现配置。
价格按分钟算,分两档。只传音频 0.2 元一分钟,传了视频帧或图片按 0.4 元一分钟,这一档已经包含语音部分。视频帧频率高于 0.5fps 时,通话时长就是视频计费时长;低于这个频率,每传一张图折算 2 秒。资源包能压价,100 分钟 19.6 元,5 万分钟 9600 元,50 万分钟 9.4 万元,200 万分钟 36 万元,折下来 0.18 到 0.196 元一分钟。抵扣比例也不一样,语音 1 比 1,视频 1 比 2。默认最大 5 并发,要更多得单独谈。
接入侧给了 Android 与 iOS 的 SDK 文档,模型本身也在豆包 App 里全量内置,普通用户更新后点打电话再开摄像头就能用。这条线的好处是可以先在 C 端验证体感,再决定值不值得为 API 付钱。
官方没公布三件事:模型参数量、上下文或单次会话时长上限、端到端延迟的毫秒数。这三个数字恰恰是评估实时语音产品时最该先看的,尤其最后一个,官方只说了节奏问题减少一半,没给绝对值。另外它的定位是通话,不是通用视觉推理,拿它去做长视频理解或复杂图表问答属于错配。
适合三类团队。做智能硬件与陪伴类产品的,需要在嘈杂环境里稳定接话;做实时客服与远程导览的,需要模型看着画面主动提示;以及手上已经有一套三级级联管线、想用一次改造换掉三段拼接的。
核心功能
- 端到端统一建模:声音、画面、时序与表达在同一个模型里对齐,省掉 ASR、VLM、TTS 三段串联带来的延迟叠加与信息损耗。
- 画面参与开口时机:判断用户说完没有不再只靠静音,视觉状态进入轮次决策,减少抢话与反应迟缓两种情况。
- 持续感知与主动提醒:目标出现、画面状态变化或任务节点到达时主动开口,用户不必每一步都显式提问。
- 嘈杂环境下的抗干扰:分辨旁人闲聊、背景噪声与正式提问,在机场、家庭这类人声不断的场景里保持专注,不因干扰误触发。
- 多人场景的身份区分:结合视觉与语音区分不同说话人,记住各自身份,再按每个人的需求分别回应。
- 双端 SDK 与 App 内置:提供 Android 与 iOS SDK 文档,同时作为通话功能在豆包 App 里全量开放,不写代码也能先试。
适合谁用
以下类型的用户会特别受益于 SeedRealtime 1.0:
- 智能硬件与陪伴设备的实时视频通话
- 远程客服与导览,需要看着画面主动提示
- 设备操作指导,按画面状态即时纠错
- 儿童教育与外语陪练,嘈杂环境下跟住目标学习者
- 机场、博物馆这类信息密集场所的即时问答
优点亮点
- 画面进入开口时机的判断,级联系统在这一层只能靠静音猜
- 主动提醒把交互从一问一答变成持续协作,省掉用户逐步提问
- 按分钟计费并且有资源包折扣,成本可以预估
- 豆包 App 已内置,验证体感不需要先写代码
价格与方案
按分钟后付费:只传音频 0.2 元/分钟,传视频帧或图片 0.4 元/分钟,视频档包含语音费用。视频帧高于 0.5fps 时按通话时长计费,低于 0.5fps 时每张图折算 2 秒。资源包 100 分钟 19.6 元(0.196 元/分钟)、5 万分钟 9600 元(0.192)、50 万分钟 94000 元(0.188)、200 万分钟 360000 元(0.18);抵扣时语音 1:1、视频 1:2。默认最大 5 并发,扩容需单独咨询。
总结与建议
它把级联管线的三段合成一段,最实际的变化是画面开始参与开口时机的判断。价格按分钟走,视频档 0.4 元一分钟,比纯语音 API 贵,省下的是自己拼三段的人力与延迟。官方没给端到端延迟的绝对值,也没给模型参数与上下文上限,上线前需要自己压测一遍。
版本演进
- API 全量上线 (2026-11-19):火山引擎全量上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API,把声音、画面、时序与表达统一到一个端到端模型,支持边看边听边说的实时交互,替代 ASR、VLM、TTS 串联的级联链路。官方称相比级联系统,音视频对话节奏问题减少一半,并具备持续环境感知与主动开口能力,可应用于多人交流、设备操作、学习辅助与实时客服。计费按分钟后付费,纯语音 0.2 元/分钟,带视频 0.4 元/分钟,默认最大 5 并发,同时提供 Android 与 iOS SDK。