LLM Wiki

资料摘要：MOSS-TTS

8分钟阅读

资料摘要：MOSS-TTS

复旦 OpenMOSS（SII-OpenMOSS）的语音生成基础模型，主张回归语音合成的核心配方：离散音频 token + 自回归建模 + 大规模预训练。构建在 MOSS-Audio-Tokenizer（CAT，24kHz→12.5fps 变比特率 RVQ）之上，发布两个互补生成器：MOSS-TTS（Delay-Pattern 单骨干，结构简单、可扩展、长上下文/控制导向）与 MOSS-TTS-Local-Transformer（额外帧内局部自回归模块，建模更高效、说话人保持更强、首音更快）。支持零样本音色克隆、token 级时长控制、音素/拼音级发音控制、平滑中英混读、稳定到小时级的长篇生成。arXiv 2603.18090（2026-03-20）。 MOSS-TTS Technical Report

核心要点

  • 配方主张：把语音生成做成「token 预测」单一通用目标（类比语言建模）——离散 token + AR + 大规模预训练，提供干净可扩展的路径，避免多中间目标/外部语义教师/精修阶段/后对齐带来的「每加一个模块就多一份监督契约、失败模式和延迟预算」。
  • 三大组件：① MOSS-Audio-Tokenizer 高质量 tokenizer（端到端、流式、语义-声学统一）；② 百万小时高质量预训练数据管线（跨一致性门控：说话人/语言/转写有效性）；③ 面向长篇高效稳定的离散 AR 建模策略。
  • 两种 RVQ token 建模模式（同 tokenizer、同预训练，隔离「token 建模模式」变量）：
    • Delay Pattern（MOSS-TTS）：单 Transformer 骨干 + 多预测头 + RVQ 延迟调度，结构最简、最易扩到大模型/长上下文/优化推理后端；作为时长控制、超长生成、发音控制的主架构。
    • Global-Latent + Local Transformer（MOSS-TTS-Local-Transformer）：帧内额外加一个长度 N_q+1 的局部自回归循环，更复杂但建模更高效、说话人保持更强、首音更快；在更小规模（1.7B）即取得最强克隆相似度。
  • 33 通道对齐预测：tokenizer 出 32 层 RVQ，两架构每对齐步预测 N_q+1=33 通道（1 文本/pad 通道 + 32 音频通道），头加权交叉熵上调最粗的几层 RVQ 权重。
  • 能力集：零样本音色克隆、token 级时长控制、音素/拼音级发音控制、中英平滑 code-switching、稳定长篇（小时级）生成；并复用 Progressive Sequence Dropout 支持变比特率。
  • 结果：Seed-TTS-eval 上 MOSS-TTS-Local-Transformer（仅 1.7B）Continuation 模式取得开源模型中最高中英说话人相似度（ZH SIM 79.62 / EN SIM 73.28）；Continuation 一致优于 Clone（原生续接更能锚定音色）。

MOSS-TTS 双架构图.excalidraw

⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

Excalidraw Data

Text Elements

指向原始笔记的链接

详细笔记

定位

TTS 正从任务专用管线走向「基础模型」范式：跨说话人/语言/风格/声学条件泛化、可控低延迟、长篇稳定，且复刻 LLM 的 scaling 轨迹。MOSS-TTS 主张回归核心——好 tokenizer + AR + 大规模预训练，足够强的 tokenizer 把语音生成变成「token 预测」单一目标，从而易于扩展数据/算力/下游能力，而无需不断膨胀模型栈。与 Qwen3-TTS、CosyVoice 3、Seed-TTS、Fish-Speech、FireRedTTS-2 等同属「离散表示 + AR 骨干」潮流，差异在于完全离散 tokenization 管线 + 同 tokenizer 下显式对比两种 AR 模式。

两种架构权衡

维度Delay Pattern（MOSS-TTS）Local Transformer
结构单骨干 + 多头 + RVQ 延迟骨干 + 帧内局部 AR 循环（N_q+1）
优势简单、可扩展、长上下文、易优化推理建模高效、说话人保持强、首音快
稳态解码更轻更重（帧内多一层循环）
适用时长/发音控制、超长生成主架构标准克隆基准的质量标杆（小规模即强）
报告角色控制类评测主力Table 3 克隆质量代表

预训练数据管线

把开放域录音（播客/有声书/广播新闻/影视剧/解说/网络内容）转为可训练的单说话人资产，经三阶段：① 预处理（降噪、格式对齐、音量归一、说话人分离 diarization 合并）；② 过滤（MOSS-Transcribe-Diarize ASR 转写 + 规则预过滤 + LLM 精修 + 单说话人校验 + 声学质量 DNSMOS>2.8 & Meta AudioBox PQ>6.5 + 音文语言一致性 Whisper↔LLM 双标签一致）；③ 数据合成（音色克隆配对：用 WavLM 相似度从 30s 裁剪片段选最佳 prompt；输入鲁棒性噪声增强；音素/拼音脚本；短词条）。语料达百万小时级，多语种 + code-switching。

训练：四阶段 WSD 课程

阶段上下文LR数据/目标
P1 基础对齐32kwarmup→2e-4仅 D_basic，学单调对齐与多语 grapheme→acoustic
P232k2e-4 稳定启用全部子集，强上采 D_clone
P332k2e-4→2e-6 线性衰减恢复正常配比，打磨
P4 长上下文64k2e-6重上采长篇数据，扩窗到 64k，学段落/小时级连贯

设计原则：先高密度清晰监督（最大化早期效率）→ 在高 LR 稳定区引入难任务（克隆、发音控制）使其成为「原生行为」而非后期补丁 → 长上下文延后（短上下文收敛后再小 LR 扩展，避免不稳定）。

关键结果

  • 零样本克隆（Seed-TTS-eval, Table 3）：MOSS-TTS-Local-Transformer（1.7B）Continuation 取得开源最高 ZH SIM 79.62 / EN SIM 73.28；Clone 模式 EN SIM 71.74 / ZH SIM 77.24。MOSS-TTS（8B）Continuation EN WER 1.84 / ZH SIM 76.98。Continuation 普遍优于 Clone。
  • 多语种克隆（CV3-Eval, Table 4）：覆盖 zh/en/ja/ko/de/es/fr/it/ru，de/es/it/ru 表现强，ja/ko 较难。
  • 时长控制（Table 5）：token 级，3s–30m 各档相对时长误差低（中文 overall AbsErr 0.712%）。
  • 另含超长生成与音素/拼音发音控制评测（以 Delay-Pattern MOSS-TTS 为主）。

引用与数据

  • 标题：MOSS-TTS Technical Report
  • 机构：复旦大学 SII-OpenMOSS Team
  • 时间：2026-03-20 · arXiv: 2603.18090 v2 [cs.SD]
  • 主页：mosi.cn/models/moss-tts · 代码：OpenMOSS/MOSS-TTS · 在线 Demo · 模型集
  • 规格：两架构（Delay-Pattern 8B / Local-Transformer 1.7B）；tokenizer 24kHz→12.5fps，32 层 RVQ；百万小时预训练；四阶段 WSD（上下文 32k→64k）
  • 评测：Seed-TTS-eval、CV3-Eval 多语种、时长/发音控制

相关

关系图谱

反向链接