产品简介
GR00T 2 是 NVIDIA GEAR 实验室在 2026 年 11 月 10 日发布的研究成果,定位是机器人基础模型。它的前代 GR00T 1 属于视觉语言动作模型,看画面、听指令、直接输出电机动作。这一代换成世界动作模型(WAM),基于视频与动作的扩散 Transformer,在给出下一步动作的同时,用扩散生成一小段未来画面,再根据这段预测反推控制指令。
这套做法的意义在于训练数据的结构。机器人数据最贵的一环是遥操作,人得反复远程操控机器把动作录下来,一份数据只对一种机型有效。GR00T 2 的预训练混合了三类来源:402,730 小时人类头戴相机拍摄的第一人称视频,10,184 小时手持 UMI 夹爪演示,覆盖 2,897 个任务,以及 23,500 小时遥操作数据。其中遥操作按机型分布得很散,YAM 15,146 小时,ABC-130k 3,591 小时,Sharpa 手 2,890 小时,Wuji 手配 Tianji 臂 1,256 小时,DROID 的 Franka 350 小时,宇树 G1 275 小时。
人类视频的规模化效果,官方在 72 个 Dexter 任务上做了对照:人类视频占比从 0% 拉到 100%,视频推演里的任务进度从 64% 提到 77%,真机上从 50% 提到 70%。
实际能力上,五指手的机器人能点蜡烛、切香蕉、把包裹甩上传送带,这些任务事先没有专门遥操作过,成功率按任务不同落在 10% 到 80% 之间。少样本适配的门槛压得很低:50 个原本表现还行的任务里,补不到三分钟的常规数据,成功率从 40% 拉到 95%;官方还提到 30 分钟 LoRA 微调、单张 RTX 5090 就够。
长装配是另一条线,做法是把 GR00T 2 和更高层的语言模型配合,后者把任务拆成步骤、在画面里标出抓取点、零件掉了就启动补救流程。零件乱放在桌上拼玩具车,这套组合在至少 97% 的试验里拼成功,去掉补救模型和额外微调只有 23%。人形机型另有一个精简版 GR00T 2 Turbo,2B 参数,RTX 5090 上推理延迟 38 毫秒,宇树 G1 板载的 Jetson Thor 上 124 毫秒,全身运动由 SONIC 控制器执行,规划一次 1.6 秒的动作 token,大约每秒一次,底层以 50Hz 跑。
当前阶段的边界也写在报告里:模型还没有直接接入触觉传感器数据,对半拧进去的螺丝这类细微状态会漏判;高层语言模型会带来等待,分垃圾测试里机器人约三分之一的时间在空等,平均每次要等七秒多才算完下一步。
开放情况需要单独说清。模型权重、许可证和 SDK 都没有发布,公开的是技术白皮书、Hugging Face 上的 Human-1M-100K 数据集(十万小时)与数据集浏览器、GEAR UMI 与 DexUMI 的开源硬件设计,以及 SimFoundry 仿真工具。模型可以通过 WAM API 由上层推理模型当作工具调用,但权重什么时候放、以什么许可放,官方没有承诺。
核心功能
- 世界动作模型:同时预测下一步动作与随后一小段画面,用扩散生成未来视频来判断动作是否合理,再反推控制指令,取代了前代直接回归电机动作的做法。
- 跨形态迁移:视频预测让同一套动作序列可以在平行夹爪、灵巧手与人形之间换算,官方按 Dexter、YAM、G1 等机型分别引出电机指令。
- 以人类视频为主的数据配比:402,730 小时第一人称人类视频打底,配 10,184 小时 UMI 夹爪演示与 23,500 小时遥操作,遥操作从主粮变成补充。
- 少样本适配:每任务 5 次演示、不到 3 分钟机器人数据,可把成功率从 40% 拉到 95%;官方还给出 30 分钟 LoRA 微调、单张 RTX 5090 的配置。
- GR00T 2 Turbo:2B 参数的精简版,减少画面细节处理换取速度,RTX 5090 上 38 毫秒,宇树 G1 板载 Jetson Thor 上 124 毫秒,可脱离外部算力运行。
- 配合高层语言模型做长装配:由语言模型拆解步骤、在画面里标注抓取点并在零件掉落时启动补救,乱序零件拼玩具车的成功率从 23% 提到至少 97%。
- SONIC 全身控制:为双足机型规划 1.6 秒的动作 token,约每秒规划一次,底层控制器以 50Hz 执行,兼顾规划跨度与反应速度。
- WAM API:模型可作为工具被上层智能体调用,适合把机器人动作接进已有的任务编排流程。
- 开放数据集与硬件设计:Human-1M-100K 十万小时数据集托管在 Hugging Face 并配数据集浏览器,GEAR UMI 与 DexUMI 的硬件设计开源,另有 SimFoundry 仿真工具。
适合谁用
以下类型的用户会特别受益于 NVIDIA GR00T 2:
- 研究机构想在自有机械臂上验证跨形态动作迁移,用人类视频替代大部分遥操作采集。
- 工厂或仓储场景做长序列装配,需要上层模型拆步骤、下层模型管抓取。
- 人形机器人厂商评估板载推理方案,关注 Jetson Thor 上的延迟与功耗。
- 数据团队想复用公开的第一人称人类视频数据集,减少自采成本。
- 做机器人仿真与合成数据的研究者,需要与真实机型对齐的动作表示。
优点亮点
- 用人类视频替代大部分遥操作,数据成本结构比前代轻。
- 跨形态迁移有实测对照,人类视频占比拉满后真机进度提升 20 个百分点。
- 少样本适配门槛低,单卡半小时微调即可上手机型。
- Turbo 版本能板载运行,为不便外接算力的机型留了方案。
- 数据集与硬件设计开源,研究与复现不依赖内部资源。
价格与方案
官方尚未公布模型权重、许可证、SDK 或价格表,目前可公开获取的是技术白皮书、Human-1M-100K 数据集(十万小时,托管于 Hugging Face)、GEAR UMI 与 DexUMI 的开源硬件设计,以及 SimFoundry 仿真工具。模型对外以 WAM API 形式提供,供上层智能体作为工具调用。商用授权与权重开放时间均未承诺,接入前需向 NVIDIA 确认。
总结与建议
GR00T 2 换了一条技术路线:不再把摄像头画面和语言命令直接翻译成电机指令,而是同时预测下一个动作和随后一小段画面,用生成出来的未来视频来判断动作对不对。这条路线换来的是跨形态迁移,人戴着头戴相机做一遍,机器人就有机会学会同一个动作,遥操作数据从必需品变成补充项。官方给的证据是,人类视频占比从零拉到满,真机任务进度从 50% 提到 70%。要看清的是开放边界:权重、许可和 SDK 都还没发布,公开的只有 10 万小时数据集和一套开源硬件设计。
版本演进
- NVIDIA 发布 GR00T 2 世界动作模型 (2026-11-10):NVIDIA GEAR 实验室发布机器人基础模型 GR00T 2,由视觉语言动作模型改为世界动作模型,基于视频与动作的扩散 Transformer,在输出动作的同时生成未来短片段画面。预训练混合 402,730 小时第一人称人类视频、10,184 小时 UMI 夹爪演示与 23,500 小时遥操作数据,用超过一千块 GB300 计算。人类视频占比从 0% 提到 100% 时,真机任务进度从 50% 升至 70%。另有 2B 参数的 GR00T 2 Turbo,RTX 5090 延迟 38 毫秒、宇树 G1 板载 Jetson Thor 延迟 124 毫秒。模型权重与许可尚未公布,公开 Human-1M-100K 数据集与 UMI、DexUMI 开源硬件设计。