你早上打开邮箱,一封要紧的邮件躺在垃圾箱里。没有人提示,也没有人向你解释,它就是被判定成垃圾了。
这类判定每天都在发生,量非常大。信用卡申请几秒钟被拒,简历在系统里没被任何人翻开就被筛掉,一条评论发出去之前先被机器过了一遍,这已经是一套很成熟的判定流程。
这两年,不少这类系统把判断交给了大模型。可大模型本来是写东西的。你让它判断一封邮件,它默认会先讲一段:发件人地址可疑,正文里有催促话术,用词和已知的垃圾邮件很像,综合来看判定为垃圾邮件。但你只需要它回答是或者不是。
当然可以让它别啰嗦,提示词里写明只回是或否,它一般也照做。这么干只是把吐出的话砍短了,拿到手的还是一个词。这个词背后有几成把握,它没说,你也不知道。而且这是你额外要求的,哪天它多说两句,你的程序就得去解析或者报错。
再说为了判断这一个字,你动用的是一个什么都会的大家伙,会写诗,会解方程,会改代码,而你只要它说是或不是。
一封邮件看不出问题,十万封就看出来了,一百万封会变成成本表上一笔显眼的钱。
九月中旬,一家叫 TypeSafe AI 的创业公司发了一个模型,叫 Jev,专门处理这个事情。你递给它一个问题和几个选项,它回你每个选项的概率,不陪你聊天。
他们管这类模型叫 System One,借用了心理学家卡尼曼那本《思考,快与慢》里的说法。人脑有两套系统,系统二慢,得一步步想,写代码、写文章靠它;系统一快,看一眼就有判断,认出熟人的脸,听出对方语气不对,靠的都是它。聊天模型和推理模型更像系统二,决策模型想做的是系统一。
它很快就火了。有投资人拿它做了个实测:98 封人工核对过答案的真实工作邮件,让它分类,准确率 80%,他原来生产环境里用的那个模型是 47%,成本还低了七十多倍到两百多倍。样本不大,算不上定论,但他已经把自家 Agent 里大约四分之一的调用换成了这类模型。
Jev 发布两周后,OpenAI 推出了做同一件事的接口,又过了一周多,微软也发了自己的决策模型。三周,三家。TypeSafe 在产品上线第二十四天完成了 8.7 亿美元融资,估值 75 亿美元。几家的定价也长成了一个样子,只按你喂进去的内容收钱,吐出来的分数不收钱。
这些差别都还算好懂。让它们成了一个新品类的,是给出来的是分数而不是结论。别小看这一点,后面的东西都是从这儿来的。
分数拿来干什么
普通人没有概率的直觉,光说给你个分数,脑子里是空的,得看它拿到分数做什么。
拿一套处理申请的系统举例。分数高过某条线的自动通过,低过另一条线的自动拒绝,夹在中间的转人工。三档划分好,流水线就跑起来了,人工只需要看中间的那一档。
这个用法也不新鲜,银行和保险业用几十年了。新鲜的是现在能打分的东西变多了,而且变得特别省事。
银行的打分卡吃的是结构清楚的字段,收入多少,逾期几次,年龄几岁。而一封邮件是不是在骗你,一条评论是不是在阴阳怪气,一份简历跟这个岗位搭不搭,这些写不成字段。
硬规则,关键词黑名单,正则匹配,这些能处理一部分,问题是太死,换个说法就漏了,写规则的人永远追不上造词的人。
后来有了专门判文本的模型。垃圾邮件过滤从上世纪九十年代末就开始用统计模型算概率,2018 年以后,BERT 这一类模型更是把判情感、分工单、审违规内容这些活都揽了过去。它们也给分数,也不写小作文,又快又便宜。麻烦在于每个任务都得单独攒一批标注好的数据,单独训一遍,换个任务就得从头再来。一个团队想多判几样东西,光是标数据就够喝一壶。
生成大模型来了以后,这道门槛没了。用一句话说清楚要判什么就能用,不用攒数据,也不用训练。代价是又贵又慢,而且给你的是一个词或者一段结论,不是分数。
决策模型把这两段路的好处凑到了一起。像生成模型一样,说清楚就能用;又像老式的分类模型一样,给分数,开销小。
它能干什么活
直白的说,就是同一类判断要重复很多很多次,单次不难,量大。
邮件该进哪个文件夹,客服工单该派给哪个组,这条评论是好评还是投诉,这张照片里有没有人脸,这份简历要不要进下一轮,搜索结果哪条该排前面。
这些事有个共同点,判错了后果有限,量又大到没人做得完。以前要么堆人,要么靠硬规则扛,要么干脆不判。现在可以整条流水线过一遍。
有个副作用。以前因为贵,很多团队对海量条目只能抽样,抽百分之五看看情况。成本降下来以后,抽样变成了全量。这个变化对结果的影响,比模型本身准不准还大,待会儿再说。
它干不了的活
它不会写。输出是几个数字,你要一份能给人看的拒绝理由,它给不出来,得另找会写的模型补。
它能给的分数本身其实有信息量,零点五一和零点九九差着十万八千里,前者说明它两头都拿不准,后者说明它很笃定,这一点生成模型回一句"是垃圾邮件"反倒给不了。可它只能告诉你有多大把握,说不出为什么。要向人交代的时候这就是硬伤,你总不能跟申请人说,系统给了你三十二分。
还有一件最容易被忽略的。它只在你给的选项里挑。选项是人定的,选项是不是合适,它不会提醒你。你给它四个选项,四个都不对,它照样在里头挑一个,分数可能还挺高。
它不知道自己不知道(挺绕)。分数高只说明在这几个选项里它更偏向这一个,不说明这一个是对的。稳定也不等于正确,它在一堆错选项里挑,也能每次都挑得一模一样。
有个土办法能缓一缓:选项里留一个"拿不准",给它一个弃权的出口。没有这个口子,它只能硬着头皮在错的里面挑。
这些短处决定了它该待在什么位置。实际用起来,它很少单独干活,更多是跟会写的模型搭班。它顶在最前面,把大批一眼就能定的条目先分掉,剩下中间拿不准的那一小撮,再交给大模型细看、写理由。前一道省钱省时间,后一道保质量,也保住了能跟人交代的那部分。
给分数和让模型说一句,有本质区别吗
懂一点的人会追问这个。都是模型算出来的,一个说答案是 B,一个给 B 零点八七,凭什么后者就算个新品类。
首先最直观的是钱啊,成本啊。按 token 计费,输出多少字直接决定花多少钱,背后的模型越大单价越高。决策模型只吐几个数字,模型本身也往往不大。微软款就是拿阿里开源的 Qwen3.5-9B 改出来的,九十亿参数,在大模型里算袖珍,后训练时只盯着打分这一件事练。输出少,模型小,钱也少。
再继续往深里说,是你能不能调。想让生成模型判得严一点,只能改提示词,加一堆要求,然后盼着它照做。措辞和松紧之间没有稳定的对应关系,今天好使的写法,换个模型可能就不灵了。决策模型是拧一个阈值,往上拧少误杀,往下拧少漏放,只改阈值数字,改完立刻生效,换个时间再跑结果也一样。微软公布过一组稳定性测试,同一个问题换种问法、打乱选项顺序,判断结果翻过来的比例平均只有百分之一点三。
最根本的,是分数能做校准,这也是 Jev 最看重的一层。它的训练方法叫 RLCD,名字直译过来就是为校准决策做的强化学习。所谓校准,就是它说有八成把握的时候,十次里真能对八次左右。分数只有校准过,才敢拿来划线。
校准过的分数能干一件一句话干不了的事。你拿一万条历史数据喂进去,能画出一条曲线,横轴是阈值,纵轴是误杀率和漏放率。想少放过一个坏人,就得接受多误伤几个好人,这个代价是多少,曲线上一眼就能看出来。一句话没法这么用,因为你没法这样统计。
能调和能测,其实是一回事。判断从靠措辞碰运气的活,变成了能测量、能调节的工程参数。
真正的变化
判断便宜了以后,真正的变化就是用量。
以前贵,抽样。现在便宜,全量。同一套系统,同一批数据,只是把抽百分之五换成条条都过,被机器拦下来的条数就会涨上去。
全量过一遍以后,误判的比例可能降了,但实际数量不好说。从百分之三降到百分之一,基数从一千条变成了两万条,被误判的人从三十个变成了两百个。比例好看了,受影响的人反而多了。
而这些人多半没什么办法。判定是系统做的,系统没有解释的义务。
微软在自家模型的说明里就写明了,这类分数不该单独拿来决定涉及具体某个人的重大事项,重要的判定还得有人复核。
代价的分配也不对称。部署系统的一方拿到的是效率和省下的钱,被判错的一方担的是麻烦,这个矛盾无法抵消。
但这不是说这套技术不该用。人工审核同样出错,错得还没规律。机器起码稳定,错在哪儿能测出来。
我真正想说的是,判断便宜了,它就会扩散到很多以前没人想过要自动化的地方。招聘的第一轮,内容的初审,客服接起来的第一句,都会被机器过一遍。你会在越来越多的地方碰上这种不打招呼的判定,大概率也没人告诉你标准是什么。
写在最后
你要的如果只是个结论,就没必要花钱买一篇论文。
松紧怎么定,选项怎么给,拿不准的交给谁,你依然要分别处理,模型接管的只是中间那段不用动脑的部分。