LLM Wiki

资料摘要：MOSS-Audio-Tokenizer

8分钟阅读

资料摘要：MOSS-Audio-Tokenizer

复旦 OpenMOSS / MOSI.AI 提出的纯 Transformer、全端到端离散音频分词器，主张「音频 tokenizer 应像文本 tokenizer 一样，用同质可扩展架构从零端到端学习」。核心是 CAT（Causal Audio Tokenizer with Transformer）——CNN-free 的因果 Transformer 编码器-量化器-解码器，联合判别器与一个语义对齐 LLM 端到端联合优化。规模化到 1.6B 参数 / 3M 小时通用音频，把 24kHz 压到 12.5 fps、32 层 RVQ 支持 0.125–4 kbps 变比特率，在语音/声音/音乐三域、各比特率下全面 SOTA 重建。并据其离散 token 造出首个超越非自回归与级联系统的纯自回归 TTS。arXiv 2602.10934（2026-02-12）。 MOSS-Audio-Tokenizer - Scaling Audio Tokenizers for Future Audio Foundation Models

核心要点

  • CAT 架构（纯 Transformer、CNN-free）：编码器与解码器均为因果 Transformer 块堆叠，直接在 24kHz 原始波形上 patchify 下采样（不经 mel 频谱），输出 12.5 Hz 离散 token；解码器逆向重建，全程严格因果 → 天然适配自回归生成与流式低延迟推理（训练/推理一致）。
  • 端到端联合优化：编码器、量化器、解码器、判别器、以及一个用于语义对齐的 decoder-only LLM 在单一训练管线中联合优化——不依赖预训练编码器（HuBERT/Whisper）、语义蒸馏或分阶段训练。论文核心论点：最小化固定归纳偏置才能像 LLM 一样优雅扩展。
  • 可变比特率 RVQ：32 层残差向量量化 + 量化器 dropout，单模型支持 0.125–4 kbps；量化层用因式分解 VQ（梯度直接优化码本）+ commitment/codebook 损失。
  • 规模化：1.6B 参数、3M 小时多样音频（语音+声音+音乐）从零预训练。验证 scaling 行为：重建质量随模型容量与计算预算（batch size）持续、可预测地提升。
  • SOTA 重建：在 LibriSpeech/AISHELL-2（语音）、AudioSet（声音）、MUSDB（音乐）上，跨低/中/高比特率全面超越 Encodec、DAC、Mimi、XY-Tokenizer、MiMo-Audio-Tokenizer、Qwen3-TTS-Tokenizer 等。如 4kbps/32 层时语音 SIM 0.97（英）/0.93（中）、PESQ-WB 3.69/3.30。
  • CAT-TTS：首个超越 NAR/级联的纯自回归 TTS：用 Temporal Transformer（时序）+ Depth Transformer（RVQ 深度）多流自回归建模 RVQ token，并提出 Progressive Sequence Dropout（训练时随机截断 RVQ 前缀层）使单模型支持变比特率生成——首次让全自回归离散 TTS 超越非自回归与级联方案。还能不靠外挂编码器做有竞争力的 ASR。
  • 意义：把「文本 tokenizer 之于 LLM」的范式迁移到音频——统一离散接口 + 同质可扩展架构，定位为下一代原生 音频基础模型 的标准接口。

MOSS-Audio-Tokenizer CAT 架构图.excalidraw

⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

Excalidraw Data

Text Elements

指向原始笔记的链接

详细笔记

动机：重新思考离散音频分词

类比文本 tokenizer 是 LLM 的「原生接口」（压缩/理解/生成/上下文学习都在单一自回归框架内涌现），作者主张离散音频 tokenizer 也应成为衔接原始波形与自回归序列建模的原生接口。由此提出 4 条设计原则：统一音频表示（语音/声音/音乐 + 兼顾声学细节与语义结构）、简单可扩展（同质架构，避免异构瓶颈）、严格因果（兼容 AR 生成与低延迟）、低帧率 + 比特率鲁棒（降低下游序列长度，单 tokenizer 适配多任务）。

现有方案多依赖预训练编码器、多阶段训练或架构特定归纳偏置（CNN），引入外部依赖、阻碍统一扩展。CAT 反其道而行：全 Transformer、从零端到端。

CAT 架构

组件设计
编码器因果 Transformer 块堆叠；输入 patchify + 层间 patchify 渐进下采样；24kHz → 12.5 fps
量化器32 层 RVQ + 量化器 dropout（变比特率）；因式分解 VQ，码本梯度直接优化
解码器因果 Transformer，逆向重建波形（不经 mel）
语义 LLMdecoder-only，做 audio→text（ASR / 多说话人 ASR / 音频字幕），注入语义先验
判别器对抗 + 特征匹配损失（沿用 XY-Tokenizer）

总损失：L_G = λ_sem·L_sem + λ_rec·L_rec + λ_cmt·L_cmt + λ_code·L_code + λ_adv·L_adv + λ_feat·L_feat，全部端到端联合优化。

CAT-TTS 与 Progressive Sequence Dropout

  • 多流 AR 建模：Temporal Transformer 捕捉时序长程依赖，Depth Transformer 沿 RVQ 层由粗到细自回归；严格因果（每个 RVQ token 仅依赖此前时间步 + 当前步前序层）。
  • Progressive Sequence Dropout：以概率 p 激活，激活时均匀采样前缀长度 K∈{1,…,N_q−1}，丢弃 K+1…N_q 层 token，仅在保留前缀上算损失。无需改架构/加参数，使单模型适应宽比特率范围；推理时显式选 K_infer 控制合成比特率。p=0 时退化为标准 Temporal+Depth 多流 AR。
  • 实验：Temporal Transformer 用 Qwen3-1.7B 初始化，~200k 小时（VoxBox + 内部），Seed-TTS-Eval 评测。消融证明：无 dropout 时低比特率下 SIM/WER 急剧退化（训练-推理失配），Progressive Sequence Dropout 显著缓解。

关键结果

  • 重建（Table 2）：跨低(750–1500)/中(1500–2500)/高(2500–6000 bps) 全比特率，语音 SOTA，声音/音乐有竞争力且随比特率单调提升。代表点：1kbps/8 层语音 SIM 0.88/0.81、PESQ-WB 2.87/2.43；4kbps/32 层 SIM 0.97/0.93、PESQ-WB 3.69/3.30、STOI 0.97/0.96。均在 12.5 Hz 低帧率下达成（多数对手帧率 25–80）。
  • scaling：模型容量↑、计算预算↑ → 重建质量可预测提升。
  • 下游：纯 AR TTS 首超 NAR/级联；无外挂编码器 ASR 有竞争力。

引用与数据

  • 标题：MOSS-Audio-Tokenizer — Scaling Audio Tokenizers for Future Audio Foundation Models
  • 机构：复旦大学 OpenMOSS / MOSI.AI
  • 时间：2026-02-12 · arXiv: 2602.10934 v2 [cs.SD]
  • 代码：OpenMOSS/MOSS-Audio-Tokenizer · 权重：OpenMOSS-Team/MOSS-Audio-Tokenizer
  • 规格：1.6B 参数；24kHz→12.5 fps；32 层 RVQ；0.125–4 kbps；3M 小时预训练
  • 评测：LibriSpeech test-clean / AISHELL-2（语音）、AudioSet（声音）、MUSDB（音乐）、Seed-TTS-Eval（TTS）

相关

关系图谱

反向链接