CosyVoice 系列对比
梳理阿里通义语音团队 CosyVoice 三代演进：从零样本 TTS 基础架构到流式合成再到百万小时多语言野外场景。
概要
| 维度 | CosyVoice 1 | CosyVoice 2 | CosyVoice 3 |
|---|---|---|---|
| 发布时间 | 2024.07 | 2024.12 | 2025.05 |
| 核心创新 | 监督语义 token | 流式+FSQ+LLM骨干 | 规模化+DiffRO |
| Tokenizer | VQ-SenseVoice | FSQ-SenseVoice | FSQ-MinMo (多任务) |
| 码本利用率 | 23% | 100% | 100% |
| LM 骨干 | 随机初始化 | Qwen2.5-0.5B | 1.5B 自训练 |
| CFM 骨干 | ResNet1D+Transformer | Causal Conv-Transformer UNet | DiT (300M) |
| 流式 | 不支持 | 统一流式/非流式 | 统一流式/非流式 |
| 语言数 | 5 (中/英/粤/日/韩) | 4 (中/英/日/韩) | 9 + 18 方言 |
| 训练数据 | ~17 万小时 | ~17 万小时 | 100 万小时 |
| 指令数据 | 556 小时 | 1,500 小时 | 5,000 小时 |
| 后训练 | 无 | DPO + 可微 ASR 奖励 | DiffRO + MTR |
| WER (SEED zh) | 3.63% | 1.45% | 0.71% |
| WER (SEED en) | 4.29% | 2.57% | 1.45% |
| 说话人相似度 | 0.775 | 0.806 | 0.836 |
| 开源 | 是 | 是 | 0.5B 开源/1.5B 闭源 |
详细对比
语音 Tokenizer 演进
CosyVoice 1: VQ-in-ASR → 语义对齐好，码本浪费严重
CosyVoice 2: FSQ-in-ASR → 100% 利用率，语义信息更丰富
CosyVoice 3: FSQ-in-MinMo → 多任务监督，捕获副语言特征
关键洞察：tokenizer 的能力上限由基础 ASR/语音理解模型的水平决定。从 SenseVoice 到 MinMo（1.4M 小时预训练）的升级带来了质的飞跃。
流式合成演进
CosyVoice 1 不支持流式 → CosyVoice 2/3 统一流式/非流式：
- LM 层面：N:M 交错的文本-语音 token 序列构造（N=5, M=15）
- CFM 层面：四种因果掩码 + 前瞻卷积，几乎无损
- 首包延迟：150ms（LM + CFM + Vocoder 各 15 × 单 token 延迟）
- 质量损失：test-hard 上仅从 6.83% → 8.08%（CosyVoice 2）
后训练方法演进
CosyVoice 1: 无后训练
CosyVoice 2: DPO (完整合成×4) + 可微 ASR 奖励 (token 级)
CosyVoice 3: DiffRO (token 级可微 + 多任务奖励 MTR)
DiffRO 的核心突破：不合成波形、不跑 CFM、不跑 Vocoder，直接在 token 级别用 Gumbel-Softmax 做可微优化。
规模化效果
| 数据量 | test-zh CER | test-en WER | test-hard CER |
|---|---|---|---|
| 3,000h (CosyVoice 3 tokenizer) | 1.68% | 6.60% | 27.60% |
| 170,000h (CosyVoice 3) | 1.27% | 2.46% | 6.96% |
| 1,000,000h (CosyVoice 3) | 0.71% | 1.45% | 5.09% |
从 17 万到 100 万小时，test-zh 仅从 1.27%→0.71%，提升已趋于饱和。
多语言能力
CosyVoice 3 是系列中唯一真正支持 9 语言的模型。CosyVoice 1/2 的日/韩语存在字符集重叠问题（汉字→中文发音），CosyVoice 3 通过将日语汉字转换为假名解决。
何时用哪个
- 研究/学习零样本 TTS 基础 → 读 CosyVoice 1，架构最清晰
- 需要流式/低延迟语音合成 → CosyVoice 2+ 的流式框架
- 多语言/野外场景/产品级 → CosyVoice 3，语言覆盖最全
- 资源受限部署 → CosyVoice 3-0.5B 开源版
- 追求最高质量 → CosyVoice 3-1.5B（闭源）