LLM Wiki

DiT（Diffusion Transformer）

5分钟阅读

DiT（Diffusion Transformer）

用 Transformer 架构替代传统 U-Net 作为扩散模型骨干的生成式架构，在图像和音频生成中展现出更强的可扩展性和多模态条件处理能力。

是什么

DiT 将扩散模型中的去噪网络从卷积 U-Net 替换为纯 Transformer 模块。每个 Transformer 块通过自适应层归一化（adaLN）注入时间步和条件信息（如文本嵌入），使模型能灵活处理多种条件信号。

核心设计要点：

  • Patched Input：将输入潜在表示切分为 patch 序列（类似 ViT）
  • adaLN-Zero：自适应层归一化，初始化时残差增益为零，保证训练稳定
  • 条件注入：交叉注意力或 adaLN 将文本/图像/视频条件注入每一层

为什么重要

  1. 可扩展性：Transformer 架构天然适合大规模扩展，DiT 随参数量增大性能持续提升
  2. 多模态统一：同一 DiT 骨干可处理文本、图像、视频、音频等多种输入条件（AudioX 的核心设计）
  3. 替换 U-Net 成为新标准：2024-2026 年，DiT 正逐步取代 U-Net 成为扩散/流匹配模型的主流骨干

关键应用

领域代表工作DiT 角色
音频生成AudioX统一多任务 DiT 骨干 + MAF 多模态融合
音频生成AudioX-TurboAudioX-Base MMDiT 教师 → 4-step 学生；DMD + diffusion-based discriminator 少步加速
音频生成Stable Audio 3扩散 Transformer（AdaLN-Single + 差分注意力 + memory embeddings）+ 对抗后训练，8 步 Ping-Pong
音频生成Dasheng AudioGenFlow-Matching DiT（自注意力建时间 + 交叉注意力注入多视图字幕），统一混合音频场景
音频生成UniSonateMM-DiT 双流架构（14 Joint + 6 Single DiT），文本/音频流分别自注意后联合交叉注意
音频生成FugattoT5-Transformer 变体，ComposableART 条件组合
TTSLongCat-AudioDiT波形潜空间 DiT，零样本语音克隆
音效生成MOSS-SoundEffect v2DiT + Flow Matching 重构 v1 离散 token 自回归，开源双语 TTA
可控 TTAControlAudio渐进三阶段 DiT 训练 + 渐进引导采样，统一时间控制+可懂语音，ACL 2026 SOTA
语音合成CosyVoice 3CFM 骨干升级为 DiT，替代 Conformer
图像生成SD3, FLUXMMDiT / DiT 骨干 + Flow Matching（见 MMDiT（多模态扩散 Transformer））
图像生成Sora视频 DiT（据信），DiT 原始作者 Peebles 参与
图像生成PixArt-α, PixArt-Σ高效 DiT 训练，4K 分辨率

完整论文图谱见 DiT 论文全景。

与相邻概念的区别

概念区别
U-Net传统扩散模型骨干（卷积），DiT 用 Transformer 替代
CFM条件流匹配是生成建模框架（替代扩散过程），DiT 是其骨干网络
Transformer通用架构；DiT 专门用于扩散/流匹配生成任务

多模态双流变体见 MMDiT（多模态扩散 Transformer）。

常见误解

  • ❌ DiT 只能在图像生成中用 → AudioX、LongCat-AudioDiT 证明音频领域同样有效
  • ❌ DiT = 就是 ViT + 扩散 → 关键在于 adaLN 条件注入和 patch 化策略

相关

关系图谱

反向链接