CALM（连续自回归语言建模）
一种将自回归 next-token prediction 从离散 token 扩展到连续潜变量的生成范式：在因果 LM 的每个位置用流匹配头（flow-matching head）替代 softmax 预测 rectified-flow 速度，消除离散 codec 的量化瓶颈，保留全部 LM 工具链（流式推理、上下文条件、高效训练）。
是什么
CALM（Continuous Autoregressive Language Modeling）桥接了三个现存范式的核心优势：
| 范式 | 优势 | 劣势 |
|---|---|---|
| 离散 token AR | LM 接口（流式/上下文/高效训练） | codec 量化瓶颈，多音音乐/复杂音效保真度受限 |
| 级联 LM→生成器 | 避开离散化 | 中间 code 冻结，阻断端到端优化 |
| 非自回归流匹配 | 高保真连续表示 | 无流式上下文能力，需外部时长预测 |
CALM 的解决方案：
- 保留 AR LM 的主干（因果 Transformer）
- 在音频位置用薄流匹配头（线性投影 φ_out: R^H→R^C）替代 softmax，预测潜空间中的 rectified-flow 速度 v = φ_out(h_i)——这是离散 softmax 的连续对应物
- 流匹配头零初始化，训练从 no-op 逐步成长
- 训练目标为 rectified-flow 损失：L_FM = E[||v_θ(h_i) - (ϵ_i - x_i)||²]
为什么重要
- 消除量化瓶颈：离散 codec 将音频压缩到有限码本（通常 1024 词表），CALM 在连续 64 维潜空间工作——AudioCALM 消融实验中，(a) 离散 baseline → (b) 连续流匹配头是最大的单一提升（Sp. WER 0.040→0.024, Sn. FAD 4.50→3.30, Mu. FAD 4.80→3.45）
- 端到端优化：LM 和流匹配头共享同一潜空间和单一损失函数，无需冻结中间表示
- 保留 AR 工具链：支持流式推理、KV-cache、in-context conditioning、标准 LM 训练并行化
- 原生变长生成：通过 AR-Flow 块因果注意力 + stop head，无需外部时长预测器
工作原理
AR-Flow 注意力
核心创新是块因果注意力掩码——将自回归与流匹配统一在单一注意力模式下：
每个生成步的打包序列：
[c₁,...,c_T, x₁,...,x_i, x̃^(t)_{i+1},...,x̃^(t)_{i+B}]
掩码规则：
1. 文本 token → 只看前面的文本 token
2. 已提交的干净潜变量 → 全部文本 + 前面的干净潜变量（因果）
3. 当前块的噪声潜变量 → 全部文本 + 全部已提交潜变量 + 块内全双向
- 跨块：因果（自回归承诺，block 1→block 2→…）
- 块内：全双向（流匹配去噪需要的联合上下文）
- 每块 B=1.0s（11 tokens @ 10.75Hz），24 步 Euler 积分去噪
- KV-cache 随块提交增量增长，支持任意长度
训练：单次前向 Teacher Forcing
关键实现技巧——避免逐块前向（O(blocks) 成本）：
打包序列：c, x₁,...,x_L || x̃^(t₁)_1,...,x̃^(t_L)_L
干净前缀（填 KV cache） 噪声副本（计算损失）
两个半段共享位置嵌入和相同的掩码规则——训练/推理完全一致。右半段每块独立采样时间步 t。成本 = 标准 LM 的 per-token cost。
暴露偏差正则化
推理中逐块提交的潜变量与真实干净潜变量有漂移，teacher forcing 无法捕捉这一 gap：
- Per-block clean-prefix noise（σ_clean=0.1）：干净前缀嵌入加高斯噪声，模拟逐块累积漂移
- Exposure-bias perturbation（γ_exp=0.1）：扰动干净目标 ˜x_i = x_i + α·ξ_i，训练模型从不完美提交中恢复
历史与演进
| 时间 | 里程碑 | 关键点 |
|---|---|---|
| 2023 | VALL-E/MusicGen/AudioLM | 离散 token AR 在音频的奠基 |
| 2024 | GIVT (视觉) | 视觉领域首个连续输出头（GMM 替代 softmax），ECCV 2024 |
| 2024 | MAR (视觉) | 扩散过程建模连续 token 分布（Diffusion Loss），NeurIPS 2024 Spotlight |
| 2025 | DiTAR (音频) | 首次将扩散 Transformer 头附着 LM 隐状态做语音生成，ICML 2025 |
| 2026.06 | AudioCALM | 首次将 CALM 扩展到通用音频（speech+sound+music），引入 A-MoME |
常见误解
- “CALM 就是 DiT + 流匹配” — CALM 的核心是保留因果 Transformer 的 AR 结构，DiT 通常做非自回归的全序列扩散。CALM 的流匹配是逐块 AR 的，块间因果、块内去噪
- “连续 AR 和离散 AR 一样” — 离散 AR 的 softmax 天然有分布限制（有限类别），连续 AR 需要暴露偏差正则化来弥合训练/推理的漂移 gap
- “CALM 只能做语音” — AudioCALM 证明了 CALM 在语音、音效、音乐三类上均达 SOTA
与相邻概念的区别
| 概念 | 区别 |
|---|---|
| 离散 token AR | 输出是有限码本上的分布（softmax），有量化瓶颈 |
| DiT + 流匹配 | 通常全序列非自回归去噪，无 AR 上下文/流式能力 |
| 级联 LM→生成器 | 两阶段分开训练，中间 code 冻结 |
| DiTAR (2025) | 最早的音频 CALM，但仅语音且无 A-MoME/AR-Flow |
相关
- 资料摘要：AudioCALM
- 条件流匹配（CFM） — 流匹配数学基础
- 音频生成 — 应用领域全景
- MoE（混合专家） — A-MoME 的架构基础
- Wiki 目录