LLM Wiki

资料摘要：DiTAR

4分钟阅读

资料摘要：DiTAR

首个将扩散 Transformer 头附着在语言模型隐状态上做自回归语音生成的工作——LM 负责序列建模，每个位置用扩散去噪从隐状态恢复连续语音 patch。ICML 2025，字节跳动。 DiTAR - Diffusion Transformer Autoregressive Modeling for Speech Generation

核心要点

  • LM + 扩散头架构：因果语言模型处理序列依赖，扩散 Transformer（DiT）头从 LM 隐状态逐 patch 恢复连续语音表示
  • 无离散 token：全程在连续潜空间操作，绕过离散 codec 的量化瓶颈
  • 分治 patch 生成：LM 处理聚合的 patch 嵌入，DiT 头生成下一 patch 的连续表示细节
  • 温度即噪声时间点：推理时通过控制逆扩散 ODE 中引入噪声的时间点来调节多样性与确定性平衡
  • SOTA 零样本语音生成：在鲁棒性、说话人相似度和自然度上达到领先水平；规模化分析验证优秀可扩展性

详细笔记

动机

语音生成面临困境：离散 token（RVQ）有量化损失，纯扩散模型缺乏自回归的流式/上下文能力。DiTAR 试图融合两者优势——用自回归 LM 捕捉序列结构，用扩散头生成高保真连续细节。

方法

DiTAR 的核心设计：

文本条件 → 因果 LM（逐 patch 自回归）
                ↓ h_i（LM 隐状态）
         扩散 Transformer 头（去噪）
                ↓
          连续语音 patch

与 GIVT/MAR（视觉）的差异：

  • GIVT 用 GMM 参数化连续分布（视觉，单步采样）
  • MAR 用 扩散过程建模 per-token 分布（视觉，多步去噪）
  • DiTAR 用 扩散 Transformer 从 LM 隐状态生成（语音，patch 级多步去噪）

与 CALM 的关系

DiTAR 是 CALM 范式（连续自回归语言建模）在语音领域的先驱。CALM/AudioCALM 将其扩展为：

  • 通用音频（语音 + 音效 + 音乐），DiTAR 仅语音
  • AR-Flow 注意力（统一的块因果掩码），DiTAR 用分治策略
  • 流匹配头（rectified flow），DiTAR 用扩散头
  • A-MoME（非对称专家混合），DiTAR 无

意义

DiTAR 是连续值自回归从视觉跨入音频的关键一步。它首次验证了”LM 隐状态 → 扩散头 → 连续语音”这一技术路线的可行性，为后续的 CALM/AudioCALM 通用音频统一提供了方法论基础。

引用与数据

  • 作者：Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, Yuxuan Wang（字节跳动）
  • 发表：ICML 2025
  • 初版：arXiv 2502.03930（2025.02）
  • 最新：v4（2025.12）

相关

关系图谱

反向链接