资料摘要：AudioLDM
萨里大学等提出的文本到音频（TTA）生成模型，基于 CLAP 潜空间 + 潜空间扩散模型，首次实现零样本音频操作，ICML 2023。 AudioLDM - Text-to-Audio Generation with Latent Diffusion Models
核心要点
- CLAP 潜空间：利用对比语言-音频预训练（CLAP）的连续音频表示作为生成空间
- 单 GPU 训练：在 AudioCaps 上仅用单张 GPU 取得 SOTA
- 零样本音频操作：首个支持文本引导音频风格迁移等零样本操作的 TTA 系统
- 计算高效：不显式建模跨模态关系，只学习潜空间中的音频表示和组合
- TTA 基准建立：为 text-to-audio 领域确立了评估基准
- 开源：demo 和评估工具链完整发布
详细笔记
动机
早期 TTA 系统生成质量有限且计算成本高。AudioLDM 思路：先在 CLAP 潜空间中学习音频分布，再用文本条件引导采样，避免显式建模复杂的跨模态映射。
方法
- CLAP（Contrastive Language-Audio Pretraining）：联合训练文本和音频编码器，使对应文本-音频对在潜空间中靠近
- Latent Diffusion Model (LDM)：在 CLAP 的音频潜空间中训练扩散模型
- 文本条件引导：去噪采样时以 CLAP 文本嵌入为条件，引导音频生成
- 对比传统方法（直接在音频波形/频谱上建模），潜空间建模大幅提升效率
关键结果
- AudioCaps 上客观/主观指标 SOTA（Fréchet Distance 等）
- 首次在 TTA 中演示零样本音频风格迁移
- 单 GPU 即可训练完整系统
后续影响
AudioLDM 系列后续推出了 AudioLDM 2（2023.08, arXiv:2308.05734），引入自监督预训练实现更全面的音频生成。
引用与数据
- 发表：ICML 2023
- 机构：萨里大学（University of Surrey）、伦敦玛丽女王大学等
- 作者：Haohe Liu, Zehua Chen, Yi Yuan, Xinhao Mei, Xubo Liu, Danilo Mandic, Wenwu Wang, Mark D. Plumbley
- arXiv: 2301.12503
- 项目页：audioldm.github.io
- 评估工具：github.com/haoheliu/audioldm_eval