产品简介
腾讯微信视觉团队开源了 WeVisOne-VL，技术报告于 2026 年 10 月 22 日上线 arXiv，权重、推理包、Cookbook、Gradio 演示与评测流程同步放出，采用 Apache 2.0 许可，提供 2B（2.44B 参数）与 4B（4.83B 参数）两档。它的做法是把物体级感知与像素级感知压进同一个模型：用结构化的逐 token 预测配合一个 9.6M 参数的轻量像素解码器，直接输出掩码与 alpha 抠图，不需要再外挂 SAM。任务覆盖物体检测、指代定位、计数、指向、OCR、指代分割与 alpha matting，用户要的粒度可以细到点、框、二值掩码或连续 alpha。目标不存在时，模型输出 None 而不是猜一个框。
核心功能
- 一个模型覆盖七类感知任务：检测、指代定位、计数、指向、OCR、指代分割与 alpha 抠图共用同一套权重与同一条推理路径，做复合管线时不必在多个专用模型之间倒数据。
- 9.6M 参数的像素解码器：把每个对象 token 的隐状态、预测框与 Qwen3-VL 视觉塔的多层特征拼起来，解码出全分辨率掩码或 alpha matte，替代平时要另外部署的 SAM 类分割模型。
- 目标不存在时给 None：WeRef-Bench 上的拒答率为 96.4%，同场最强的开源基线是 73.0%。做审核与标注管线时，这一项能省掉大量人工兜底。
- 密集检测拉开差距：LVIS 的 F1 均值 55.3（基线 50.7），Dense200 达到 71.3（基线 58.7），VisDrone 44.7（基线 39.9）。
- OCR 与计数可用：TotalText 的 F1 均值 52.0（基线 43.3），PixMo-Count 计数准确率 89.6%（基线 82.8%），CLOC 与 KubriCount 也都在 28.3% 与 40.1%。
- 抠图精度是强项：P3M-500-NP 的 MAD 为 7.3（基线 15.4），指代抠图 WeRefMat 为 9.8（基线 22.4），比配 SAM2 的方案省一个级联环节。
适合谁用
以下类型的用户会特别受益于 腾讯 WeVisOne-VL：
- 电商与内容审核：商品图里同时做检测、计数与 OCR，再按业务规则过滤。
- 图像编辑工作流：直接拿到 alpha matte 做图层分离与换背景，省掉单独抠图服务。
- 文档与票据处理：OCR 定位加结构化输出，适合版式不固定的扫描件。
- 视觉检索与指代：按一句描述在图中定位目标，找不到时明确返回空结果。
- 数据标注：批量生成框、掩码与抠图标注，再用它自己筛掉不合格样本。
优点亮点
- 七类任务一个模型，管线里不用再挂 SAM 与独立检测器，部署与显存都省。
- 拒答能力有可核对的数据，WeRef-Bench 96.4%，比开源基线高二十多个点。
- 4B 在密集检测、OCR 与抠图上超过 8B 到 9B 的通用视觉语言模型，尺寸与效果的比例不错。
- Apache 2.0 许可，商用与二次开发都没有额外限制。
- 配套齐全，权重、推理包、Cookbook、Gradio 演示与评测流程都已放出。
- 2B 与 4B 都能在单卡跑，适合批量离线处理或边缘侧部署。
价格与方案
权重在 Hugging Face 与 GitHub 以 Apache 2.0 许可公开，可商用与二次开发。本地推理成本取决于部署硬件，2B 与 4B 两档均可在单卡运行，Hugging Face 上另有在线演示可直接试用。
总结与建议
微信视觉团队把检测、OCR、分割和抠图塞进同一套 token 预测里，用一个 9.6M 参数的解码器替掉外挂 SAM，4B 在密集检测与抠图上把 8B 级通用视觉模型拉开明显差距。最实用的一点其实是拒答，目标不存在时给 None，做审核与标注时少一层人工兜底。想做图像感知管线又不想维护一堆专用模型的团队，这张卡值得先试。
版本演进
- 腾讯微信视觉开源 WeVisOne-VL 2B 与 4B （2026-10-22）：技术报告 10 月 22 日上线 arXiv（v1），24 日更新到 v2。权重在 Hugging Face 与 GitHub 以 Apache 2.0 放出，2B 版 2.44B 参数、4B 版 4.83B 参数，视觉塔沿用 Qwen3-VL，配一个 9.6M 参数像素解码器输出掩码与 alpha matte。同期放出推理包、Cookbook、Gradio 在线演示与评测流程，微调代码尚未发布。