LLM Wiki

资料摘要：CosyVoice 3

6分钟阅读

资料摘要：CosyVoice 3

CosyVoice 3 通过百万小时数据 + 1.5B 参数规模化、基于 MinMo 多任务监督的语音 tokenizer 和**可微奖励优化（DiffRO）**后训练，实现 9 语言 × 18 方言的野外零样本语音合成，内容一致性相对前代提升超 50%。 CosyVoice 3 - Towards In-the-wild Speech Generation via Scaling-up and Post-training

核心要点

  • 规模化：训练数据从 10 万小时 → 100 万小时；模型从 0.5B → 1.5B；CFM 采用 300M DiT 骨干。
  • 全新语音 Tokenizer：基于 MinMo 多模态大模型（140 万小时预训练），在 53 万小时上做多任务监督训练（ASR + 语言识别 + 情感识别 + 音频事件检测 + 说话人分析），使离散 token 更好捕获副语言信息。
  • DiffRO（可微奖励优化）：训练 Token2Text 模型（ASR-like），用其后验概率作为奖励直接在 token 级别优化 LM，避免完整波形合成的计算开销；支持多任务奖励（MTR）联合优化情感、MOS 等属性。
  • 语言全覆盖：9 种语言（中/英/日/韩/德/西/法/意/俄）+ 18+ 中文方言/口音，支持跨语言语音克隆。
  • CV3-Eval 基准：首个多语言野外零样本 TTS 基准，包含客观评估（多语言/跨语言/情感克隆）和主观评估（表现力克隆/语音续写/方言），源音频来自真实场景。

详细笔记

核心技术创新

1. 监督多任务语音 Tokenizer

  • 插入 FSQ 到 MinMo（1.4M 小时预训练）的 Voice Encoder 第 12 层之后
  • 多任务训练目标：ASR (365K hr) + LID (85K hr) + SER (48K hr) + AED (21K hr) + SA (11K hr)
  • Token 率 25Hz，优于 SenseVoice-FSQ（前代 tokenizer）
  • 下游 TTS 实验证明优于 HuBERT、W2v-BERT 2.0 和 SoundStream 等 tokenizer

2. DiffRO：可微奖励优化

  • 核心洞察：不生成完整波形做 RL，直接在语音 token 级别优化
  • 训练 Token2Text ASR 模型，对 LLM 输出的 token 预测文本后验概率作为奖励
  • 使用 Gumbel-Softmax 使采样可微 → 直接反向传播优化
  • KL 散度在 token 级别计算（而非序列级别）
  • 多任务奖励（MTR）：联合 ASR + SER + MOS + AED 等多维度
  • 相对改进：20%-50% WER 降低，低资源语言和跨语言场景改善尤其显著（韩语+68.7%）

3. 数据规模化

  • 中文/英文：低质量数据生产线 + 自训练 + 多样化（电商、导航、金融、教育） + 多种文本格式
  • 新增 7 种语言：日/俄/法/德/西/韩/意
  • 19 种中文方言/口音：粤语、闽南、四川、上海、东北等
  • 多语言数据处理管线：语音检测分割 → 降噪（MossFormer2） → 多 ASR 交叉验证转录 → 标点调整 → 音量标准化 → 过滤异常长度比

4. 新功能

  • 发音修补：训练数据替换多音字/词为拼音/音素，模型可接受混合字素-音素序列
  • 自训练文本规范化：利用 Qwen-Max 和规则系统构建 raw-text ↔ audio 配对数据
  • 能力迁移 SFT：支持将单语说话人转为多语、将指令控制能力迁移到 SFT 模型

实验亮点

SEED-TTS-Eval（vs CosyVoice 2）：

  • test-zh CER: 1.16% → 0.71%（+RL），相对提升 51%
  • test-en WER: 2.02% → 1.45%（+RL），相对提升 44%
  • test-hard CER: 6.08% → 5.09%（+RL）

CV3-Eval 多语言（CosyVoice3-0.5B + DiffRO），WER/CER：

  • zh: 2.89%, en: 3.68%, ja: 5.15%, ko: 4.02%, de: 4.51%, es: 2.99%, fr: 8.56%, it: 2.94%, ru: 3.79%

跨语言语音克隆（+DiffRO）：en→zh 5.16%, ja→zh 3.22%, ko→zh 1.03%

情感克隆准确率（DiffRO-EMO）：happy 0.98, sad 0.68, angry 0.84

主观 MOS：CosyVoice 3-1.5B 英文 MOS 超越人类基准，中文仍略低于人类

引用与数据

  • 百万小时训练数据，9 语言 + 19 中文方言
  • LM: 0.5B → 1.5B, CFM: DiT 100M → 300M
  • Tokenizer 训练: 53 万小时多任务
  • 指令数据: 1500h → 5000h, 100+ 风格
  • 发音修补修正率: 100%（RepMono+MixPhn）

相关

关系图谱

反向链接