产品简介
Nemotron 3.5 Transcribe 是 NVIDIA 在 2026 年 10 月 28 日放出的开放权重语音模型，一个模型把转写、翻译、说话人分离与音频问答四件事合并到一起。权重在 Hugging Face 与 ModelScope 同步上线，模型名 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B。
结构是混合 Mamba 与 Transformer 的专家混合语言模型，加一个语音编码器，总参数 30B，每 token 激活约 4B。语言能力按任务分层：转写覆盖 40 种语言，与英语互译覆盖 31 种，说话人分离覆盖 13 种，音频问答目前只训练英语。单段录音最长 1 小时，最多标注 8 位说话人，支持词级时间戳。
准确率方面，Artificial Analysis 的非流式榜单给出 2.8% 的 AA-WER，在开放权重模型里并列第一；对比模型里激活参数 24B，它只用约 4B。Hugging Face Open ASR Leaderboard 上英语平均 5.33%、多语言 4.62%、长音频 10.98%，三项都在开放权重里居首。
核心功能
- 四件事一个模型：转写、31 种语言与英语互译、13 种语言说话人分离、英语音频问答，都在同一个检查点里完成，不需要串多个模型。提示词决定任务，例如让它转写并标注说话人，或者直接问这段会议做出了哪些决定。
- 4B 激活拿到 2.8% WER：Artificial Analysis 的 AA-WER 2.8% 在开放权重里并列第一，AgentTalk 数据集上 1.8%，次佳的开放模型是 2.3%。参数效率比绝对分数更值得看：激活量只有约 4B。
- 长音频与多人会议：单段录音上限 1 小时，最多 8 位说话人。长音频赛道平均 WER 10.98%，在同类里最低。说话人分离在 DAI-ASR-I18N 上 DER 18.26%，14 个系统里最低。
- 一块卡三分钟跑 100 小时：在单张 RTX PRO 6000 Blackwell Server Edition 上，用即将发布的 NVFP4 量化版处理 100 小时音频只需 3 分钟，按 30 秒片段高并发切分。
- 医疗领域微调效果可查：在 Eka Care 医疗基准上，开箱 WER 30.8%，加提示词后 23.8%，微调后降到 11.8%，留出说话人场景 12.17%。微调成本约 14 个 GPU 小时，单张 GB300 跑完。
- 配套数据集 Granary v2：同步放出 Granary-v2，46.3 万小时、48 种语言、16 个源语料，用 NeMo Curator 构建。每条记录带三种转写变体：逐字、含口语填充、去填充的逆文本规范化。
适合谁用
以下类型的用户会特别受益于 NVIDIA Nemotron 3.5 Transcribe：
- 会议与访谈的长录音转写，单段一小时、最多 8 人，直接出带说话人的稿子。
- 跨语言内容归档，把 31 种语言的录音统一译成英文再入库。
- 客服与呼叫中心质检，用词级时间戳对齐话术命中位置。
- 医疗问诊记录，按官方路径微调后 WER 可压到 11.8%，留出说话人场景 12.17%。
- 音频内容检索，用音频问答直接问这段录音讲了什么决定。
- 需要自有数据不出内网的团队，用 vLLM 或 SGLang-Omni 自托管。
优点亮点
- 2.8% AA-WER 在开放权重里并列第一，激活参数只有约 4B。
- 一个检查点覆盖转写、翻译、说话人分离与音频问答四类任务。
- 单段录音支持 1 小时、8 位说话人，长音频赛道 WER 最低。
- NVFP4 下单卡 3 分钟处理 100 小时音频。
- 微调路径与成本都公开，医疗场景实测留出说话人 WER 12.17%。
- 权重在 Hugging Face 与 ModelScope 双份，vLLM、SGLang-Omni 首发支持。
价格与方案
开放权重，权重与推理代码免费获取，商用按 NVIDIA 开放模型许可执行。自托管只承担硬件成本，主流推理框架 vLLM、SGLang-Omni 已首发支持，NeMo-Speech.cpp 的本地部署版本即将跟进。不想自建可以走 Baseten、DeepInfra、Simplismart 三家托管端点，按各自平台计费。Granary v2 数据集同样公开，源音频需按原始许可单独下载。
总结与建议
这类模型的价值在于把语音处理从流水线拆成一次调用。过去做会议转写要串转写、分离、翻译三个模型，中间还要对齐时间轴，现在一个检查点加一句提示词就够。30B 总参数、4B 激活的配置让它能跑在单卡上，微调成本也压到了十几个 GPU 小时。定位是录制音频处理，实时流式场景要另找方案。
版本演进
- Nemotron 3.5 Transcribe 开源：一个模型做转写、翻译与说话人分离 （2026-10-28）：NVIDIA 放出开放权重模型 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B，30B 总参数、约 4B 激活的混合 Mamba-Transformer MoE 加语音编码器。转写 40 种语言、与英语互译 31 种、说话人分离 13 种、英语音频问答；单段录音最长 1 小时、最多 8 位说话人、支持词级时间戳。Artificial Analysis AA-WER 2.8% 在开放权重里并列第一，Hugging Face Open ASR 英语 5.33%、多语言 4.62%、长音频 10.98%。同步发布 Granary v2，46.3 万小时、48 种语言。vLLM 与 SGLang-Omni 首发支持。