DiT 论文全景
DiT（Diffusion Transformer）自 2022 年底提出以来，已从图像生成扩散至视频、音频、语音合成等领域，并在 2024-2026 年经历了效率优化（MoE/量化/动态计算）和架构进化（MMDiT/RAE/PixelDiT）两轮浪潮，正成为扩散/流匹配模型的主流骨干。
关键论点
1. 原始 DiT 确立了三个核心设计，至今仍是基线
- Patched latent tokens：在潜空间而非像素空间做 patch embedding
- adaLN-Zero：自适应的零初始化条件注入，保证训练稳定
- Scaling 论证：Transformer 骨干的扩散模型随 Gflops 增长性能持续提升
原始论文的四个模型规模（S/B/L/XL，33M-675M）为后续所有 DiT 变体提供了参照系。
2. 2023-2024：从图像生成走向多模态
| 工作 | 年份 | 核心贡献 |
|---|
| PixArt-α | 2023.10 | 高效 DiT 训练，用 T5 文本编码器注入语言条件 |
| SiT | 2024.01 | DiT 作者后续工作，将扩散替换为流匹配 + 可插值 Transformer，FID 2.06 |
| FiT | 2024.02 | 灵活分辨率和宽高比生成的 DiT |
| U-DiTs | 2024.05 | 将 U-Net 层次结构重新引入 DiT（U 形 token 下采样） |
| PixArt-Σ | 2024 | 弱到强训练，支持 4K 分辨率 |
| SD3 (MMDiT) | 2024.06 | 多模态 DiT，文本/图像双流分别注条件（MMDiT（多模态扩散 Transformer），资料摘要：SD3（MMDiT）） |
| Sora | 2024.02 | 视频生成的 DiT（据信），原 DiT 作者 Peebles 参与 |
3. 2024-2025：效率优化浪潮
这是 DiT 领域最活跃的研究方向，核心动机是 DiT 的 Transformer 骨干计算成本高于 U-Net：
| 方向 | 代表工作 | 策略 |
|---|
| 量化 | Q-DiT (2024.06) | 后训练量化压缩 DiT |
| MoE | EC-DiT (2024.10), Dense2MoE (ICCV 2025) | 稀疏激活降低 60% 计算 |
| 动态计算 | DyDiT (2024.10), FlexiDiT (2025.02) | 不同时间步/空间位置分配不同计算 |
| Token 压缩 | DiffRate (2024.12), TinyFusion (2024.12) | 自适应 token 剪枝 |
| 注意力优化 | DiT-Air (2025.03), EDiT (2025.03) | 标准 DiT 通过细致调优即可匹敌专门变体 |
| 卷积替代 | ΔConvFusion (2025.04) | 金字塔卷积替代自注意力（6929× 加速） |
4. 2025：架构进化的新方向
| 方向 | 代表工作 | 突破 |
|---|
| RAE（表示自编码器） | RAE DiT (2025.05) | 冻结 DINO/SigLIP 替代 VAE 编码器，FID 1.51 |
| 像素空间 DiT | PixelDiT (2025.11) | 单阶段像素 DiT，绕过 VAE，FID 1.61 |
| μP 规模化 | μP for DiT (2025.05) | 2.9× 加速收敛，扩展到 18B MMDiT |
| 对齐加速 | HASTE (2025.05) | 阶段式对齐终止，28× 减少优化步骤 |
| 应用扩展 | DiT4SR (2025.03) | DiT 用于真实世界超分辨率 |
5. 音频/语音领域的 DiT 迁移
| 工作 | 方向 | DiT 用法 |
|---|
| AudioX | 通用音频生成 | 统一多任务 DiT + MAF 多模态融合 |
| Fugatto | 音频基础模型 | T5-Transformer DiT 变体 + ComposableART |
| LongCat-AudioDiT | TTS | 3.5B 波形潜空间 DiT |
| CosyVoice 3 | 语音合成 | CFM 骨干升级为 DiT |
| DreamAudio | T2A | DiT 用于定制化音频生成 |
证据
- Scaling 定律已验证：原始 DiT Gflops→FID 负相关，μP for DiT 进一步验证到 18B
- U-Net 复兴 vs Transformer：U-DiTs 证明 U 形层次仍有益，但 DiT-Air 论证标准 DiT 通过良好调优即可匹敌
- VAE 可替代：RAE 和 PixelDiT 从不同方向挑战 VAE 的必要性
- 效率已不是瓶颈：EDiT 2.2×、Dense2MoE 60%、ΔConvFusion 6929× 加速，DiT 部署可行性大幅提升
开放问题
- DiT 能否完全统一图像/视频/音频/语音生成，实现单一骨干多模态生成？
- DiT 的效率优化是否已到达理论极限？量化 + MoE + 动态计算能否叠加？
- 去噪扩散过程是否需要 Transformer，还是说 SOTA 来自规模化本身而非架构？
- 视频 DiT（Sora 方向）的论文细节尚不透明，开源社区仍在追赶
启示
- Transformer 的通用性再次被印证：从 NLP → CV → 扩散模型，Transformer 是生成式 AI 的统一架构
- 效率是 DiT 的核心壁垒：NVIDIA H100 时代，如何在有限算力下训练/推理最大 DiT 是产业界核心问题
- 应用驱动架构演进：SD3/FLUX 的工业需求催生了 MMDiT，Sora 催生了视频 DiT，未来穿戴/端侧设备将催生 Tiny DiT
相关