Diffusion Autoregressive 架构是一种将自回归语言模型与扩散解码器结合的生成框架：自回归部分负责生成高层语义计划，扩散部分负责从语义计划恢复细粒度连续细节。
是什么
该架构的核心直觉：语音生成包含两个性质不同的子问题——“说什么”（语义内容） 和 “怎么说”（声学细节）。前者具有离散的、序列化的特性，适合自回归建模；后者具有连续的、稠密的特性，适合扩散建模。
Diffusion Autoregressive 架构将二者结合：TSLM（Text-Semantic Language Model）以自回归方式生成语义-韵律计划，RALM（Residual Acoustic Model）通过扩散逐步恢复声学细节，LocDiT（Local Diffusion Transformer）作为局部扩散解码器生成最终高保真语音。
为什么重要
- 各取所长：自回归擅长长程语义依赖建模，扩散擅长连续细节生成
- 避免级联误差：语义层和声学层在同一框架内联合优化，而非像传统多阶段系统那样累积误差
- 可控性强：语义层输出的中间表示可被解释和干预，支持 Voice Design 和 Controllable Cloning
- 端到端训练：整个架构在简单的扩散目标函数下统一训练，无需分阶段训练
工作原理
VoxCPM 的四阶段流水线具体如下：
文本 → LocEnc → [语义表示] → TSLM（自回归） → [语义-韵律计划]
↓
RALM（扩散残差） → [完整潜变量]
↓
LocDiT（扩散解码） → [连续语音]
- LocEnc（Local Encoder） — 将输入文本编码为局部上下文感知的表示
- TSLM（Text-Semantic Language Model） — 以文本表示为条件，自回归地逐帧生成高层语义-韵律计划；这是”语义大脑”，决定语调、节奏、情感基调
- RALM（Residual Acoustic Model） — 以语义计划为条件，通过扩散进程逐步生成残差声学细节；这是”声学精细笔触”，补齐音色、音质等细节
- LocDiT（Local Diffusion Transformer） — 最后的扩散解码器，在 AudioVAE 潜空间中生成高保真连续语音表示，直接输出 48kHz 音频
历史与演进
注意：本页描述的”扩散自回归架构”特指 VoxCPM 式的语义层 + 声学层两阶段混合架构（TSLM 自回归生成语义计划 → RALM/LocDiT 扩散恢复声学细节）。这与 DiTAR 的”LM 隐状态 → 扩散头”是同领域的不同技术路线——DiTAR 是单阶段连续预测头（LM 每步直接输出扩散去噪所需的条件），属于 CALM 范式的先驱。
| 时间 | 里程碑 | 关键点 |
|---|---|---|
| 2025.02 | DiTAR | LM 隐状态 → 扩散 Transformer 头做语音生成（ICML 2025），属 CALM 路线先驱 |
| 2025.09 | VoxCPM | 首个将两阶段扩散自回归架构大规模验证的开源实现，180 万小时训练 |
| 2026.04 | VoxCPM2 | 架构升级，AudioVAE V2 支持 48kHz 输出和 30 语言 |
| 2026.06 | AudioCALM | CALM 范式统一语音/音效/音乐，AR-Flow 注意力替代分治策略 |
与相邻概念的区别
| 维度 | Diffusion Autoregressive（VoxCPM 式） | CALM（DiTAR/AudioCALM） | 纯自回归 TTS | 纯扩散 TTS |
|---|---|---|---|---|
| 语义建模 | 自回归 LM（TSLM） | 自回归 LM（因果 Transformer） | 自回归 LM | 条件扩散 |
| 声学生成 | 扩散模型（RALM/LocDiT） | 流匹配/扩散头（从 LM 隐状态） | 自回归（离散 token） | 扩散模型 |
| 架构层级 | 两阶段（语义→声学） | 单阶段（LM + 头端到端） | 单阶段 | 单阶段 |
| 连续输出 | ✅ 原生 | ✅ 原生 | ❌（需离散） | ✅ 原生 |
| 生成速度 | 中（扩散~10步） | 中 | 快 | 中-慢 |
| 可控性 | 高（语义可编辑） | 中-高 | 中 | 低-中 |