神经音频编解码（RVQ）
用残差矢量量化（RVQ）把连续音频波形压成多层离散 token 的神经编解码器，是「音频语言模型」范式的前置组件——让 Transformer 能像处理文字一样自回归地生成声音。
是什么
神经音频编解码器（neural audio codec）是「编码器–量化器–解码器」结构的自编码器：编码器把波形下采样成低帧率隐向量，量化器将其离散化为码本索引（token），解码器再重建波形。其中最主流的量化方式是残差矢量量化（Residual Vector Quantization, RVQ）：
- 用一级码本量化隐向量，得到第 1 层 token；
- 对残差（原向量 − 第 1 层重建）再用第 2 级码本量化，得到第 2 层 token；
- 逐级递归，共 层。层数越多、比特率越高、重建越精细。
代表实现：SoundStream、EnCodec（Meta，MusicGen 用其 32kHz 版）、DAC、Mimi，以及本库的 MOSS-Audio-Tokenizer（CAT）。
为什么重要
- 让音频进入「语言模型」范式：离散 token 使 decoder-only Transformer 能做 next-token prediction 生成音频，复用 LLM 全套工程（见 LALM（大型音频语言模型））。
- 比特率–质量可调：层数/码本大小直接换算比特率，覆盖从超低码率语音到高保真音乐。
- 是音频 LM 架构复杂度的根源：多层 token 如何被自回归骨干建模，是工程核心，也是各家论文差异所在。
工作原理
多层 token 的建模模式
单个时间步有 层 token，如何排布进自回归序列决定了架构（详见 资料摘要：MOSS-TTS 的两架构对比）：
| 模式 | 代表 | 思路 |
|---|---|---|
| Delay Pattern | MusicGen | 单骨干多头，各层错位延迟，一个 Transformer 并行出多层 |
| Temporal + Depth Transformer | MOSS-Audio-Tokenizer | 时序 Transformer 管跨时间步，深度 Transformer 沿 RVQ 层由粗到细 |
| 两阶段 coarse-to-fine | Khala | 粗阶段生成低层 token，细阶段补高层 token |
RVQ 的固有难题
多层 RVQ 并非没有代价，资料摘要：Siren 专门指出两点并用 RL 解决：
- 层间特征不完全正交——各层信息纠缠；
- 深层曝光偏差（exposure bias）——高层 token 在自回归中误差累积。 Siren 的做法：为各层用多个隔离的 Transformer 分别建模 + **反因果对齐（Anti-Causal Alignment）**训练。
前沿：纯 Transformer、可变比特率
资料摘要：MOSS-Audio-Tokenizer 的 CAT 把编解码器做成 CNN-free 的因果 Transformer，规模化到 1.6B 参数 / 3M 小时：24kHz → 12.5 fps，32 层 RVQ + 量化器 dropout 支持 0.125–4 kbps 变比特率，用因式分解 VQ（梯度直接优化码本）。配合 Progressive Sequence Dropout（训练时随机截断 RVQ 前缀层），单模型即可覆盖宽比特率，并造出首个超越非自回归/级联的纯自回归 TTS。
与相邻概念的区别
| 离散化方案 | 结构 | 特点 | 本库页面 |
|---|---|---|---|
| RVQ | 多层残差码本 | 高保真、层数可调，但层间纠缠/深层曝光偏差 | 本页 |
| FSQ | 标量量化 | 无需码本、无坍塌，单层 | FSQ（有限标量量化） |
| S³ Tokenizer | 监督语义单层 | 语义对齐、低帧率，服务 CosyVoice | S³ Tokenizer（监督语义语音分词器） |
| 连续 token（无量化） | VAE 潜向量 | 不离散化，用扩散/流匹配头建模 | CALM（连续自回归语言建模） |
| 连续统一 tokenizer | 冻结语义 + 声学注入 | 高维连续、免量化损失，同时服务理解与生成 | 资料摘要：DashengTokenizer |
| Tokenizer-Free | 不显式分词 | 直接建连续表示，绕开量化 | Tokenizer-Free TTS |
RVQ 提供的是声学保真度路线；语义 token（S³）与连续 token（CALM/MAR）分别代表「更压缩语义」与「无量化损失」两条替代思路。
常见误解
- 「RVQ 层越多越好」：层数增加提升上限也放大深层曝光偏差与建模难度，Khala 的 64 层需专门的 coarse-to-fine 策略才收得住。
- 「codec token 就是语义 token」：RVQ 是声学重建导向，与 S³ 这类语义监督 token 目标不同，二者常互补而非等价。
- 「RVQ 和 VQ-VAE 一样」：VQ-VAE 是单级码本；RVQ 是对残差的多级量化，比特率与保真度显著更高。
历史与演进
- 2021: SoundStream 提出 RVQ 神经音频编解码
- 2022: Meta EnCodec；AudioLM/MusicGen 用其 token 做音频语言模型（Delay Pattern）
- 2023: DAC（Descript Audio Codec）提升高保真重建
- 2024: Mimi 等低帧率语义-声学 codec 兴起
- 2026: Khala 探到 64 层 RVQ 的高保真极限；Siren 用 RL 反因果对齐解层间纠缠；MOSS-Audio-Tokenizer 以纯 Transformer CAT + 32 层变比特率 RVQ 全域 SOTA 重建
相关
- LALM（大型音频语言模型） — RVQ 是其前置离散化组件
- S³ Tokenizer（监督语义语音分词器） — 语义 token 的对照路线
- FSQ（有限标量量化） — 无码本量化替代
- CALM（连续自回归语言建模） — 连续 token、绕开量化
- 资料摘要：DashengTokenizer — 连续统一 tokenizer 对照路线：冻结语义 + 声学注入，免量化损失
- 资料摘要：MOSS-Audio-Tokenizer — 纯 Transformer、变比特率 RVQ 前沿
- 资料摘要：MOSS-TTS — 多层 token 两种建模架构对比
- 音频生成
- Wiki 目录