产品简介
Audio8 TTS 0.6B 是 Edge0 开源的语音合成模型，官网产品页标的就是 Audio8、TTS、0.6B 三段。主模型 601M 参数，不含随附的神经音频编解码器。给一段参考录音连同它的转写，就能用同一把声音读任意新文本，换语种时音色也跟着走，不需要为每个说话人单独训练。
结构上是两层 DualAR。慢速自回归每帧只吐一个语义 token，决定对齐、停顿与整句走向；快速自回归读它的隐状态，在同一帧内沿 RVQ 深度把声学码本填满。把长程结构与局部细节拆到两个时间尺度上，就不必让它们抢同一条 token 序列。编解码器跑在 44.1kHz，每帧 2,048 个采样，约合 21.5 帧每秒，慢速层每秒做 21.5 次语义决策，快速层为每次补十层残差细节。
官方列出 11 种语言：粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语与西班牙语，中文参考音色可以驱动英文句子，反过来也行。仓库带 SGLang Omni 适配器，含分页注意力、动态批处理与兼容 OpenAI 的 /v1/audio/speech 端点；单张 H20 上单流生成 128 帧，p50 为 0.691 秒，RTF 0.116。
核心功能
- 零样本克隆：一段参考录音加它的转写就能复刻音色，转写是条件的一部分，干净音频配准确文本时结果最稳。
- 两层 DualAR：慢速层管对齐、停顿与整句走向，快速层在帧内补 RVQ 十层细节，长程结构与局部质感分开处理。
- 11 种语言：粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语与西班牙语，跨语种时音色保持一致。
- 44.1kHz 编解码：编解码器按 44.1kHz 重建波形，每帧 2,048 采样、约 21.5 帧每秒，早期码本定结构、后期码本补音色与咬字。
- 开箱即用的推理服务：仓库带 SGLang Omni 适配器，含分页注意力、动态批处理与参考音频编码，对外暴露兼容 OpenAI 的语音端点。
- 601M 轻量：主模型 0.6B 级别，官方定位是端侧与消费级硬件，适合本地批量生成或嵌进产品做在线合成。
适合谁用
以下类型的用户会特别受益于 Audio8 TTS 0.6B：
- 有声书与播客批量把稿件转成配音，换章节时沿用同一个音色。
- 短视频与广告的旁白试听，先合成几版再挑，省掉约配音的时间。
- 同一套教材做成 11 种语言的讲解音频，中文参考也能读英文句子。
- 客服与 IVR 把真人录音克隆成统一音色，话术改动只改文本。
- 游戏与互动内容给角色批量生成台词，按剧情临时加词。
- 对录音素材敏感的业务，把合成放进内网机器，音频不出门。
优点亮点
- 零样本克隆，一段参考音频换一把声音，不必为每个说话人训练。
- 两层 DualAR 把结构与细节分开，长句的节奏与停顿更稳。
- 11 种语言覆盖，跨语种合成保留同一音色。
- 44.1kHz 编解码，成品直接可用，省掉二次上采样。
- 自带 SGLang Omni 适配器与 OpenAI 兼容端点，接入现有服务成本低。
- 主模型 601M，消费级显卡与端侧设备都放得下。
价格与方案
按发布材料，权重与代码以 Apache 2.0 开放，可商用与二次训练。推理侧官方给了 SGLang Omni 的部署路径，含分页注意力、动态批处理、参考音频编码与波形解码，并暴露兼容 OpenAI 的 /v1/audio/speech 端点；单张 NVIDIA H20 上单流生成 128 帧 p50 为 0.691 秒，RTF 0.116，不含冷启动与编译时间。官方未公布托管 API 与按字符计价的方案。公开评测方面，Seed-TTS 上英文 WER 1.506、相似度 63.2，中文 CER 0.950、相似度 73.1。克隆音色前应按当地法规取得说话人授权。
总结与建议
语音克隆的门槛一直卡在两步上：定制音色要训练，训练要算力。Audio8 把这两步压成一次前向，一段录音就是全部准备。它的取舍也很清楚，用两层自回归把整句规划与帧内细节拆开，再用 44.1kHz 编解码把成品直接做到可交付的分辨率，剩下的限制就落在了你手上那段参考音频有多干净、授权是否清楚。
版本演进
- Audio8 TTS 0.6B 收录：两层 DualAR 零样本克隆 （2026-10-31）：收录时形态：Edge0 开源的语音合成模型，主模型 601M 参数，不含随附神经音频编解码器。采用两层 DualAR，慢速自回归决定对齐与停顿、快速自回归在帧内补 RVQ 十层细节；编解码器 44.1kHz、每帧 2,048 采样、约 21.5 帧每秒。一段参考录音加转写即可零样本克隆，覆盖粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语与西班牙语共 11 种语言。仓库带 SGLang Omni 适配器与兼容 OpenAI 的语音端点，单张 H20 单流 128 帧 p50 0.691 秒、RTF 0.116。