LLM Wiki

资料摘要：CosyVoice

5分钟阅读

资料摘要：CosyVoice

首个将监督语义语音 token 引入 TTS 的工作，提出 LLM + 条件流匹配的两阶段零样本语音合成架构，在内容一致性和说话人相似度上超越无监督 token 方案。 CosyVoice - A Scalable Multilingual Zero-shot TTS based on Supervised Semantic Tokens

核心要点

  • 首次将监督语义 token 引入 TTS：利用 ASR 模型（SenseVoice）在编码器中插入向量量化（VQ），产出包含明确语义信息和对齐关系的离散语音 token（S³ token），比传统的无监督 token（如 EnCodec、HuBERT）显著提升内容一致性和说话人相似度。
  • 两阶段架构：文本→token 的自回归 LLM + token→梅尔频谱的条件流匹配（OT-CFM）模型 + HiFiGAN 声码器，无需额外的音素化工具和强制对齐器。
  • 说话人/语义/韵律解耦：x-vector 说话人嵌入捕获音色信息，LLM 负责语义和韵律，流匹配模型引入声学和环境信息。
  • 规模化能力：大规模多语言数据（13 万小时中文 + 3 万小时英文 + 其他语言）进一步提升性能。
  • 指令控制：支持说话人身份、说话风格（情感、语速、音高）和细粒度副语言特征（笑声、呼吸、强调）的控制。

详细笔记

背景与动机

LLM-based TTS 的主流范式是将语音信号离散化为 token 序列，由 LLM 以文本为条件建模，再由 vocoder 重建波形。关键问题在于语音 token 的质量 — 此前的主流 token 都是无监督学习的（EnCodec、HuBERT 等），缺乏明确的语义信息和对齐到文本的能力。

技术架构

1. 监督语义语音 Tokenizer (S³)

  • 基于 SenseVoice ASR 模型，在编码器第 6 层后插入向量量化层
  • 单一码本，4096 个码字
  • 训练时保持 ASR 解码器，通过 ASR loss 监督 token 保留语义信息
  • Token 率 25Hz

2. 文本-语音语言模型 (LM)

  • 序列构造：[S, 说话人嵌入v, 文本编码, T, 语音token, E]
  • 自回归预测语音 token，仅计算语音 token 的交叉熵损失
  • 文本编码器用于对齐文本和语音的语义空间
  • x-vector 作为说话人嵌入分离音色信息

3. 最优传输条件流匹配 (OT-CFM)

  • 替代 DDPM，训练更快、生成更简单
  • 条件：说话人嵌入 v、语音 token μ、掩码梅尔频谱 X̃
  • 余弦调度器使初始生成步更多
  • Classifier-free guidance (强度 0.7)

4. 零样本上下文学习

  • 同语言：prompt 文本+语音 token 拼接 → 自回归生成
  • 跨语言：抛弃 prompt 文本和 token，仅保留说话人嵌入和 prompt 音频的梅尔频谱，避免源语言韵律干扰

训练数据

语言时长（小时）
中文130,000
英文30,000
粤语5,000
日语4,600
韩语2,200

指令训练数据：说话人身份 101 小时、说话风格 407 小时、细粒度副语言 48 小时。

关键实验结果

  • LibriTTS test-clean：WER 2.89%（人类水平 2.66%），说话人相似度 74.30（超过人类 69.67）
  • ASR re-ranking 后 WER 降至 1.51%
  • 中文 AISHELL-3：CER 3.82%，说话人相似度 81.58
  • 情感控制准确率：CosyVoice-instruct 在 6 类情感上远超 base 版本
  • 可作为数据生成器训练 ASR 模型，合成数据 + 原始数据显著提升 ASR 性能

引用与数据

  • WER: 2.89%（英）/ CER: 3.82%（中）
  • 说话人相似度超越人类基准
  • 4096 码字 VQ tokenizer，token 率 25Hz
  • 最大模型：14 层 LLM，1024 维注意力，4096 FFN

相关

关系图谱

反向链接