LLM Wiki

资料摘要：CosyVoice 2

5分钟阅读

资料摘要：CosyVoice 2

在 CosyVoice 基础上引入有限标量量化（FSQ）替代 VQ、以预训练 LLM（Qwen2.5-0.5B）为骨干、设计分块感知因果流匹配统一流式/非流式合成，首次实现流式零样本 TTS 的人类水平自然度。 CosyVoice 2 - Scalable Streaming Speech Synthesis with Large Language Models

核心要点

  • 统一流式/非流式框架：通过流式 LM 的序列构造（N:M 交错文本/语音 token）+ 四种因果掩码策略的流匹配模型，单模型同时支持离线高质合成和流式低延迟合成。
  • FSQ 替代 VQ：有限标量量化实现码本 100% 利用率（VQ 仅 23%），保留更多语义信息，ASR 错误率大幅下降。
  • LLM 架构极简化：移除文本编码器和说话人嵌入，由 Qwen2.5-0.5B 直接作为骨干，说话人建模完全交由流匹配模型，避免信息泄露。
  • 流式首包延迟低至 150ms：适用于语音聊天等实时交互场景。
  • 升级的指令控制：情感、口音、方言、角色扮演 + 细粒度控制（[laughter], [breath], <strong>），自然语言指令集成在单一模型中。

详细笔记

相比 CosyVoice 1 的核心改进

1. 语音 Tokenizer：VQ → FSQ

  • FSQ 将中间表示投影到低维空间后做有界舍入量化
  • 码本利用率 100%（4096 码字的 VQ 仅用 963 个）
  • FSQ token 更好地保留了语义信息，VoxCeleb 可视化验证了说话人信息的解耦

2. 统一流式/非流式 LM

  • 非流式：[S, 全部文本token, T, 全部语音token, E]
  • 流式：[S, N文本, M语音, N文本, M语音...]，N=5, M=15
  • 文本-语音 LM 同时训练两种序列构造，推理时切换模式
  • ICL 和 SFT 场景各有流式/非流式四种推理策略

3. 分块感知因果流匹配

  • 上采样语音 token（2×，从 25Hz→50Hz）+ 前瞻卷积（pad=4）
  • 四种因果掩码：Non-causal / Full-causal / Chunk-M / Chunk-2M
  • 训练时随机采样掩码类型，隐式自蒸馏
  • 推理时首块用 Chunk-M（更低延迟），后续块用 Chunk-2M（更高质量）

4. 强化学习微调

  • 引入 DPO 优化发音准确率和说话人相似度
  • 提出可微 ASR 奖励：将预测 token 恢复到量化表示 → 过 ASR 后端 → 直接优化 LM 参数
  • Gumbel-Softmax 使采样可微

训练数据

语言时长（小时）
中文130,000
英文30,000
日语4,600
韩语2,200

Tokenizer 训练数据：20 万小时（中文 11 万 + 英文 10 万）

关键实验结果

  • LibriTTS test-clean：WER 2.47%（人类 2.66%），NMOS 3.96，SS 0.745
  • SEED test-zh：CER 1.45%，test-en：WER 2.57%，test-hard：WER 6.83%
  • 流式模式性能几乎无损（test-hard 上 CER 仅从 6.83%→8.08%）
  • 日/韩 benchmark：日语 CER 18.79%，韩语 CER 7.98%（日语受汉字重叠影响）
  • MOS-I（指令控制自然度）：4.06（前代 CosyVoice-Instruct 仅 3.09）

引用与数据

  • FSQ 维度 D=4, K=2, 码本大小 (2K+1)^D = 5^4 = 然而 CosyVoice 2 实际为 (2K+1)^D-1 即 6561
  • 首包延迟 150ms，25Hz token 率
  • 基于 Qwen2.5-0.5B，CFG 强度 0.7，NFE=10
  • 指令数据 1500 小时，100+ 种风格

相关

关系图谱

反向链接