产品简介
LingBot-Touch 是蚂蚁集团具身智能公司蚂蚁灵波（Robbyant）在 2026 年 11 月开源的触觉基础模型，随技术报告、推理代码与 Tiny、Small 两档权重一起放出，Apache 2.0 许可。
它的出发点是个具体麻烦：触觉信号又稀疏又吵，绝大多数时间贴在近零的背景上。把视觉那套自监督方法直接搬过来，模型只要输出零就能把损失压下去，学不到真正的接触。团队走的是 JEPA 路线，不重建被遮住的原始信号，而在隐空间里预测它的表示。同样数据下差距很明显：触觉到视频的 top-5 召回，1000 小时数据时 JEPA 是 32.1%，MAE 只有 5.6%，VAE 4.4%；扩到 4000 小时，JEPA 升到 49.3%，MAE 仍在 9% 以下，VAE 反而掉到 3.1%。重建类方法在这里失败是有道理的，一段触觉序列里绝大部分是零背景，重建损失可以一直降，接触特征却始终没学到。
传感器异构是第二个难点。磁性、压阻、视触觉三类传感器的读数原理不同，信号形态差得远。LingBot-Touch 给每类各配一个 tokenizer，把读数映射到同一套 token，再喂给共享的 Transformer；位置编码用五维 RoPE，把时间、手指编号与三维坐标一起编进去。训练时遮罩比例从 40% 预热到 80%，因为一上来就高遮罩会把稀疏信号里唯一有价值的接触点全盖掉，梯度直接炸。
效果在真机上验证过。26 个真实机器人任务、4 种策略、104 组组合里，冻结的编码器特征在其中 89 组拿到最高分；与只用视觉相比，加上触觉特征让成功率提高 14 到 26 个百分点。另有一个反直觉的对照：把原始触觉信号直接喂给策略，104 组里有 22 组结果变差，换成预训练特征后大部分恢复。这说明触觉数据在用上之前，得先有一套共享表示。没见过的磁性灵巧手上，LingBot-VLA 从 57.21 提到 75.04。
核心功能
- JEPA 隐空间预测：不重建被遮挡的原始触觉信号，改为预测其隐表示。触觉到视频 top-5 召回在 4000 小时数据下达到 49.3%，同规模 MAE 在 9% 以下、VAE 为 3.1%。
- 三类传感器统一编码：磁性、压阻、视触觉各配一个 tokenizer，映射到同一套 token 后送入共享 Transformer，跨传感器迁移不依赖同一家硬件。
- 五维 RoPE 位置编码：把时间、手指编号与三维坐标一起编码，指尖接触在统一坐标系里对齐，多指与双手任务能共享同一套表示。
- 遮罩预热策略：遮罩比例从 40% 在 300 步内升到 80%，避免训练初期把稀疏信号里唯一有价值的接触点全部遮掉导致梯度爆炸。
- 冻结特征直接可用：预训练特征插入下游力控与操作策略即可，跨传感器、灵巧手、任务与动作模型迁移，包括训练时从未见过的传感器。
- 真机验证结果：26 个真实任务、4 种策略、104 组组合中，冻结特征在 89 组得分最高；加触觉比只用视觉成功率提升 14 到 26 个百分点。
- 完整开源：Apache 2.0 许可，技术报告、推理代码与 Tiny、Small 两档权重均公开，可商用。
适合谁用
以下类型的用户会特别受益于 LingBot-Touch：
- 灵巧手做需要控制接触力的装配、插拔与抓取任务。
- 已有视觉策略、希望在力控环节补上触觉反馈的机器人团队。
- 跨传感器迁移，换一家触觉硬件后不必重新采集数据训练。
- 具身智能研究与教学，直接拿预训练特征做下游实验。
优点亮点
- 隐空间预测在稀疏触觉信号上明显有效，4000 小时数据下召回 49.3%，同规模重建类方法不到 9%。
- 三类传感器共用一套 token 空间，换硬件不用重训。
- 冻结特征即可用，接入成本低，不需要微调整个策略。
- 26 个真机任务、104 组组合的对照结果给得比较完整，含原始信号直喂变差的反例。
- Apache 2.0 开源，权重、代码与技术报告一次给全。
价格与方案
开源免费，Apache 2.0 许可。代码与 Tiny、Small 两档权重已在 Hugging Face 与 GitHub 放出，商用不需要授权，本地部署的算力成本自理。
总结与建议
LingBot-Touch 是蚂蚁灵波开源的触觉基础模型，用 JEPA 在隐空间预测接触表示，避开了重建类方法在稀疏信号上的失效。三类传感器经各自 tokenizer 进入共享 Transformer，冻结特征可直接插入下游策略，26 个真机任务里加触觉让成功率提升 14 到 26 个百分点，没见过的灵巧手上 LingBot-VLA 从 57.21 提到 75.04。Apache 2.0，权重与代码均已公开。
版本演进
- LingBot-Touch 开源，含技术报告与两档权重 （2026-11-09）：蚂蚁灵波（Robbyant）开源触觉基础模型 LingBot-Touch，Apache 2.0 许可，技术报告、推理代码与 Tiny、Small 权重一并公开。模型基于 JEPA 架构，用近 5000 小时真实触觉数据（来自数据手套与机器人手）预训练，磁性、压阻、视触觉三类传感器各配 tokenizer 后共用一套 token 与 Transformer，位置编码采用五维 RoPE。触觉到视频 top-5 召回在 1000 小时数据下为 32.1%（MAE 5.6%、VAE 4.4%），4000 小时下升到 49.3%。26 个真机任务、4 种策略、104 组组合中冻结特征在 89 组最优，加触觉比只用视觉提升 14 到 26 个百分点；未见过的磁性灵巧手上 LingBot-VLA 从 57.21 提到 75.04。