产品简介
Flora 是 NVIDIA GEAR 实验室在 2026 年 10 月 25 日公开的一组模型,任务是给机器人训练视频打标注。它不控制机器人,只产出标注:这段视频里什么时候做了什么、每一步做得好不好、整段任务成没成。
机器人数据标注有三类需求,一般工具只覆盖其中一类。描述动作与时间点的字幕,用来筛选和配平预训练数据;逐步的过程评分,给强化学习指路,告诉它哪一步出了问题;整段的结果判定,用于部署后监控。Flora 把三类都做了,用三个模型分工。
三个模型都基于 Qwen3.5:9B 的 Flora-TempSeg 是 LoRA 适配器,负责切分动作起止;27B 的 Flora-Captioner 结合前后文写时间戳描述;另一个 27B 的 Flora-Rewarder 按提示切换三种角色,给整段打 1 到 5 分、把每半秒判成正常次优或失败、再按自定义评分规则打分。
许可要单独说。三个模型走 NVIDIA OneWay 非商业许可,允许研究与评估,衍生作品继承同一限制。它是研究工具,不是能直接接进商业产线的免费标注服务。
核心功能
- 三类标注一套覆盖:时间戳动作描述、逐步过程评分、整段结果判定,分别对应数据筛选、强化学习与部署监控三个用途。
- 9B 分段器切动作边界:Flora-TempSeg 基于 Qwen3.5-9B 的 LoRA 适配器,输入单路或主摄加两路腕摄的视频窗口,输出 JSON 格式的时间区间。
- 27B 描述器写时间戳字幕:Flora-Captioner 描述一个动作时会带上前后发生了什么,输出一句指令式英文描述,例如让机器人用右手把蓝色杯子放到托盘上。
- Rewarder 一个模型三种角色:按提示切换:给整段打 1 到 5 分、把每半秒判为正常次优或失败、按自定义 rubric 打分。一个模型覆盖三种评分需求。
- 按 GB300 租金估算每小时视频 0.72 美元:NVIDIA 用每小时 10 美元的 GPU 租金与实测吞吐做的估算。同一批视频上 GPT-6 Astra 的 API 成本约每小时 88.49 美元。数字是估算值,不含存储与运维。
- 已在 GR00T 训练流程中使用:512 块 GB300 上每天标注 20 万小时视频。三个模型合计训练数据不到 1 万小时的人类与机器人视频。
适合谁用
以下类型的用户会特别受益于 NVIDIA Flora:
- 机器人模仿学习数据集的动作分段与描述
- 强化学习的过程奖励标注
- 部署阶段的执行监控与结果判定
- 按自然语言检索长视频里的具体动作片段
优点亮点
- 三类标注由一个模型组统一产出,不用在多个工具之间对齐格式
- Rewarder 能定位到半秒级,把部分完成和完全失败分开
- 分段与描述分工明确,9B 干轻活、27B 干重活,算力分配合理
- 官方给出量化成本与吞吐,方便估算自己的规模
- 三个模型与推理代码都在 Hugging Face 公开
价格与方案
三个模型的权重与推理代码在 Hugging Face 公开,采用 NVIDIA OneWay 非商业许可,仅限研究与评估用途,衍生作品继承同一限制。自行部署的算力成本按自身硬件与吞吐计算。NVIDIA 给出的每视频小时 0.72 美元是估算值,基于每小时 10 美元的 GPU 租金与实测吞吐,不含存储与运维开销,且只覆盖描述这一项。
总结与建议
Flora 解决的是机器人训练里最枯燥也最贵的一环:把视频变成结构化的训练信号。三个 Qwen3.5 微调模型分工明确,分段、描述、评分各管一段,官方说已经在 GR00T 的训练流程里跑了。
两个前提要先看清。成本数字是按租金估算的模型值,不是生产账单,覆盖的是描述这一项,不包含 Rewarder。许可是非商业的,做研究、做评估都行,接商业产线要先过法务。这两条不清楚就容易高估它的适用范围。
版本演进
- Flora 三个机器人视频标注模型公开 (2026-10-25):NVIDIA GEAR 实验室公开 Flora,三个基于 Qwen3.5 的模型分工完成动作分段、时间戳描述与奖励评分。已在 GR00T 训练中使用,512 块 GB300 每天标注 20 万小时视频。权重与推理代码在 Hugging Face 公开,采用 OneWay 非商业许可。官方估算每小时视频标注成本 0.72 美元。