资料摘要：AudioX

香港科技大学郭毅可团队提出的统一音频生成模型，单一 Diffusion Transformer 处理文本/视频/图像到音频等全部任务，ICLR 2026 接收。 AudioX - A Unified Model for All Audio Generation Tasks

核心要点

• 统一多任务框架：一个模型处理 text-to-audio、video-to-audio、image-to-audio、music generation、audio inpainting、music completion 等所有音频生成任务
• Diffusion Transformer (DiT) 骨干：以 DiT 作为统一基础架构
• 多模态自适应融合（MAF）：轻量级融合模块，支持文本、视频、图像、音频等多种输入模态
• IF-caps 数据集：发布 700 万+样本的细粒度结构化标注数据集，填补数据质量空白
• 多项基准 SOTA：在 AudioCaps、MusicCaps、V2M-bench、T2A-bench 上取得最优结果
• 开源：GitHub 1.2k+ Stars

详细笔记

动机

现有音频生成模型多为任务专用（如单独的 T2A、V2A、TTS 模型），缺乏一个真正统一的框架。AudioX 旨在用单一模型覆盖所有音频生成任务。

方法

• 基于 Diffusion Transformer (DiT) 架构
• 设计多模态自适应融合模块（Multi-modal Adaptive Fusion, MAF），灵活处理不同输入模态
• 发布 IF-caps：700 万+细粒度标注样本

关键结果

• AudioCaps、MusicCaps、V2M-bench、T2A-bench 上全面 SOTA
• 单一模型即可完成多种音频生成任务

后续：AudioX-Turbo

2026-06 AudioX-Turbo 将 AudioX 的统一 MMDiT + MAF 框架作为 AudioX-Base 教师，再通过 Flow Matching 版 DMD 与 diffusion-based discriminator 蒸馏为 4-step CFG-free 学生。它延续 IF-caps 的结构化标注思想，扩展为 IF-caps-Pro（约 9.2M 样本），重点解决原 AudioX/多步扩散推理慢的问题。

引用与数据

• 发表：ICLR 2026
• 机构：香港科技大学（郭毅可团队）
• arXiv: 2503.10522
• GitHub Stars: 1200+

相关

• Wiki 目录
• 资料摘要：Fugatto
• 资料摘要：Siren
• 资料摘要：AudioX-Turbo — 4-step 高效后续版本
• 音频生成