产品简介
Clef-omni 是 Cloudflare 于 2026 年 10 月 9 日发布的开放权重多模态决策模型。它不生成文本,而是读取一次请求里的文本、图像、音频与视频,为开发者给定的每个选项输出校准概率,用来做路由、分类与工具选择这类结构化判断。
核心功能
- 一次调用处理四种模态:请求里可同时带上文本、图像、音频与视频,模型在同一趟预填充中完成打分,省掉先转写再分析的中间步骤
- 三类结构化问题:支持真假判断、选择题与序数评分三种题型,单次请求最多 64 个问题,输出每个选项的概率而不是自由文本
- 开放权重可自托管:权重以 Apache-2.0 释出,官方在单张 H200 上以 bfloat16 验证,显存占用约 64 GB
- 沿用既有决策接口:请求格式与同类决策模型一致,切换模型标识即可试用
适合谁用
以下类型的用户会特别受益于 Clef-omni:
- 客服工单按意图与紧急度分派,把通话录音与截图一并作为判断依据
- 智能体在多个工具之间做选择,用概率阈值决定调用哪个接口或是否转人工
- 设备巡检用一张照片加一段运转录音,判断标签是否可见、声音是否异常
- 内容审核对图文与短视频混合素材分级打分,输出可直接落进审核流程
优点亮点
- 把转写与画面描述两个中间环节并进一次调用,多模态流水线的延迟与信息损耗都更少
- 返回的是概率而不是文本,省掉解析模型输出这一步,便于直接接进路由逻辑
- Apache-2.0 开放权重,既能用托管服务也能自己部署
- 输出不额外计费,成本只按输入 token 计算
价格与方案
在 Cloudflare Workers AI 上按输入 token 计费,每百万输入 token 0.15 美元,输出不额外收费。权重以 Apache-2.0 释出可自行部署,官方给出的自托管参考配置是单张 H200、bfloat16 约 64 GB 显存,托管上下文长度为 64,000 token。
总结与建议
Clef-omni 适合需要在智能体链路里做结构化判断的开发者,尤其是输入同时包含画面与声音、又希望直接拿到概率而不是一段文本的场景。权重开放这一点让它在需要自托管或数据不出内网的团队里更好落地。
版本演进
- Cloudflare 发布 Clef-omni 多模态决策模型 (2026-10-09):Cloudflare 发布 Clef 家族第三名成员 Clef-omni,基于 Qwen3-Omni-30B-A3B-Instruct 后训练,冻结主干并训练 LoRA 适配器与联合 schema 头,单次调用可同时处理文本、图像、音频与视频。支持最多 4 张图、4 段音频与 2 段视频,单次最多 64 个问题。权重以 Apache-2.0 释出,托管上下文 64K,纯文本中位延迟约 130 毫秒,图像约 150 毫秒,一段 21 秒带声视频约 1.5 秒。