产品简介
电话客服这条线上的语音系统,绝大多数还是三段式:先把声音转成文字,把文字交给语言模型,再把回复合成成声音。每一跳都会丢掉一点东西。谁在说话,这句话是说给谁听的,中间有没有停顿,话说完了没有,这些在转写那一步就被压成一行纯文本。Bland 在 11 月 13 日放出的 Tofu-1 想跳过这个中间态,直接吃音频、直接出音频,官方给的词是全双工。
先说清楚它现在是什么。研究预览,不是能马上接进生产的产品。只对银行、医疗、保险、政府四类机构按申请开放,没有公开参数量、延迟、定价和基准分数。所以能讲的只有它声称解决了什么问题,以及哪些地方该留余地。
官方那个雨天报地址的场景把问题说得很准。有人打电话报树倒了砸到房子,站在雨里,信号很差,儿子在旁边一直问她话,她念到一半地址转过头去回答。接电话的人不用想就能跟上:她转开了,等她回来,雨声不重要,地址接着刚才那半句念。现在的语音系统做不稳这件事,因为转写会把转过头去这个动作抹掉,只剩一串准确的文字。
Tofu-1 的说法是听音频本身,声音里带的线索都还在。它把这件事拆成四项能力。一是理解场景,能把不同说话人分开,判断一句话是说给谁的,把哭闹的孩子、电视、高速车流、医院广播、按键音从人声里分出来,还能听出犹豫、沮丧、急躁这些语气。二是生成整段场景,因为建模的是通话的声音而不只是词,它也能造出第二个说话人、周围的空间和线路噪声。三是边说边听,被打断或者被纠正的时候,正在说的话可以跟着改。四是边想边说,查身份、查理赔、查权益这些活和对话同时跑。
四项里最能说明问题的是它叫 TV Test 的那一类。电视开着的时候,广告说现在致电,主播在提问,剧里有人说了句 Yes。每句话都清楚,都不是说给客服听的。降噪解决不了这个,因为电视不是噪声,是来自错误来源的语音,而且常常比来电人还大声。Bland 举的例子是客服问确认要退保吗,来电人没说话,她在找保单号,电视说了 Yes。只靠转写的系统会把 Yes 当成她的回答,把保单退了。Tofu-1 要做的是把这个 Yes 归到电视上,然后请她本人确认。音量判断不了这件事,响的电视可能无关,轻声的纠正可能是这通电话里最重要的一句。
也得说它给自己划的线。如果背景吵到根本听不清来电人,它应该直接说听不清,请对方重复或者换个安静点的地方。忽略电视不能变成猜对方说了什么的理由。这条边界写得比多数发布材料老实。
证据强度要分开看。官方说内部筛查里超过 92% 的听众分不出 Tofu-1 的输出和真实录音,但没说这批听众有多少人、素材怎么选的,这个数字只能当方向看。发布视频里所有人声和背景声都是模型生成的,官方自己标了是合成,不是真实客服录音。TV Test 那一段标的是示意场景,不是录下来的模型输出。两个可以听的样本各 10 秒和 39 秒,都是官方挑出来的。
所以判断它值不值得等,别看 demo 有多顺,看三件事。一是它能不能在你自己的线路噪声里分清谁在说话,这得拿真实录音去试,官方页面上的两段全是干净场景。二是它出错时会不会承认听不清,而不是顺着上下文编一个答案出来。三是等你拿到接入方式时,延迟和并发能不能撑住一通电话,这三样现在一个数字都没有。
对做语音 agent 的团队,它提出的问题比它给的答案更有用。过去两年大家比的都是转写准确率,Tofu-1 把评价标准挪到了另一处:这通电话里谁在说话,这句话是说给谁的。这件事以前的级联架构根本没有位置放它。
核心功能
- 全双工听说同步:听和说同时进行,来电人可以在句子中间打断或纠正,正在生成的回复会跟着改,不用等它把一段话讲完。
- 说话人跟踪与指代归属:把不同说话人分开,并判断一句话是说给谁的。客服、来电人、旁边的孩子各占一轨,重叠的部分不会被简单当成噪声丢掉。
- 噪声分离:从人声里分出哭闹的孩子、电视、高速车流、医院广播和按键音,官方强调电视这类属于来自错误来源的语音,与噪声不是一回事。
- 副语言识别:除了说了什么,还听怎么说的,包括犹豫、沮丧、急躁。这类信号在转写成文字之后基本消失。
- 边想边说,答案对齐最新一句:查身份、查理赔、确认支付与对话并行推进。来电人在查询过程中改了预约日期,最后的答复要反映新日期,没做完的事不能说已经完成。
- 生成整段场景音频:因为建模的是通话的声音,它也能造出第二说话人、周围空间与线路噪声。发布视频里的人声与背景全部由模型生成。
适合谁用
以下类型的用户会特别受益于 Bland Tofu-1:
- 银行身份核验与理赔进度查询,要求中途纠正数字后答复能对上
- 医院改约,患者说到一半改了日期,系统不能按旧日期确认
- 保险退保或变更确认,现场有电视或旁人插话
- 车内、病房、弱信号线路这类条件差的呼入与外呼
- 语音 agent 供应商拿真实录音做压力测试,看谁在说话这件事能不能判准
优点亮点
- 直接处理音频,语气、停顿、指代关系不再被转写压平成一行文本
- 全双工,打断与纠正在句子中间就能生效,接近人与人通话的节奏
- 把电视里那句 Yes 单独当成一类问题处理,而不是当成噪声一起降掉
- 态度比较克制,公开承认听不清时该请对方重复,而不是猜一个答案
- 两段官方样本都是模型直接生成,可以先听再判断,不用只看文字描述
价格与方案
研究预览阶段,官方没有公布任何价格,也没有自助入口。申请表中按每月通话量分档填写,从 1000 通以下到 5 万通以上,场景限定银行、医疗、保险、政府,按个案审批。参数量、延迟、并发与基准分数同样未公开。
总结与建议
Tofu-1 想解决的不是转写准不准,而是转写这一步会把通话场景丢掉。全双工让它能被中途打断,说话人跟踪让它能判断一句话说给谁,TV Test 把电视里那句 Yes 从噪声问题变成了归属问题。它现在是研究预览,只对四类机构按申请开放,参数量、延迟、价格、基准一个都没公开,demo 也全是合成的。值不值得等,要拿自己的线路噪声去试。
版本演进
- 发布研究预览 (2026-11-13):Bland 发布首个语音到语音模型 Tofu-1,全双工,直接处理音频输入输出,不经中间转写。四项能力为理解场景(说话人跟踪、指代归属、噪声分离、副语言识别)、生成整段场景音频、边说边听、边想边说。面向银行、医疗、保险、政府的通话场景,按申请开放研究预览,未公布参数量、延迟、定价与基准分数;官方称内部筛查中超过 92% 的听众无法分辨输出与真实录音,但未公开方法。