资料摘要：Tango 2

Tango 的直系升级：架构不变（仍是 Flan-T5 + LDM），在合成偏好数据集 Audio-alpaca 上用 DPO-diffusion 微调，让模型从”好/坏音频对比”中学习，显著提升与文本提示的语义对齐和多事件时序正确性。ACM MM 2024。 Tango 2 - Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization

核心要点

• 核心贡献是对齐，而非新架构：直接复用公开的 Tango（Flan-T5 + LDM）权重，只做偏好微调 —— 架构与训练数据规模都不变。
• DPO-diffusion 对齐：把 LLM 对齐里的 Direct Preference Optimization 迁移到扩散模型（Wallace et al. 2023 的 diffusion-DPO），让去噪输出对齐人类偏好。
• Audio-alpaca 偏好数据集：15,025 对”胜者/败者”音频。败者通过两种廉价启发式合成：① 扰动 prompt（删除/打乱概念、破坏时序）后让 Tango 生成；② 对抗过滤（同一 prompt 多次采样，取 CLAP 分低于阈值者）。
• 数据剪枝：基于胜负 CLAP 分差、以及败者 CLAP 绝对分设阈值筛子集，降低自动生成带来的噪声偏好对。
• 成本极低：从 Tango-full-FT checkpoint 起，2×A100 上 1 epoch SFT + 4 epoch DPO，共约 3.5 小时。
• 效果：AudioCaps 上客观 + 主观指标全面超越 Tango 与 AudioLDM 2，尤其改善”多事件 / 时序”类 prompt。

详细笔记

动机

既有扩散 TTA 模型只顾把扩散网络在大规模 prompt-audio 对上训得更复杂，不显式关注输出音频里是否包含 prompt 提到的各个概念/事件、以及它们的时序顺序。作者假设：在数据有限时，聚焦这些方面能提升生成质量。手段就是引入偏好对齐。

方法

• 基座：公开的 Tango（Flan-T5 文本编码器冻结 + AudioLDM 的 VAE + LDM）。
• 偏好数据构造（Audio-alpaca）：
  • 胜者 = 忠实反映文本描述的音频；
  • 败者 = 缺失概念 / 时序错误 / 高噪声的音频，通过 prompt 扰动 + 对抗过滤合成。
• DPO-diffusion 损失：在偏好对上微调，$\beta =2000$，AdamW，学习率 9.6e-7，有效 batch size 32。
• 关键点：偏好数据与 Tango 训练用的是同一来源数据，仍能靠”好坏对比”学到更好的 prompt→audio 语义映射。

关键结果（AudioCaps 评测集）

• 对比基线：AudioLDM、AudioLDM 2、Tango。
• Tango 2 在 FAD / KL / IS / CLAP 等 holistic 指标，以及时序类指标（OER/DUR/FREQ/TIME）和主观 OVL/REL 上均超越 Tango。
• 证明：在不扩充数据、不改架构的前提下，偏好对齐是提升 TTA 保真度的高性价比路径。

对话洞见

• 与 Tango 的关系（用户问）：Tango 2 是 Tango 的直系后继，同一团队（SUTD）。相较 Tango，唯一的实质变化是加了 DPO 偏好对齐，生成器仍是 LDM。这与再后一代 资料摘要：TangoFlux（换成 Flow Matching）形成对照 —— Tango 2 属”同架构 + 对齐”，TangoFlux 属”换架构”。
• 批判性判断：本文创新点集中在数据侧（如何廉价合成偏好对）和把 diffusion-DPO 用到音频，方法本身是已有技术（DPO、diffusion-DPO）的迁移组合，工程价值 > 理论新颖性。但 Audio-alpaca 数据集的开源对后续工作有实际价值。
• 方法链梳理（用户问”具体方法”，讨论结论）：整套方法可拆成三块——① 基座冻死不动（Tango-full-FT 权重直接当参考模型 ${\pi }_{ref}$）；② 用两条启发式廉价合成”败者”——prompt 扰动（删概念/打乱时序后让 Tango 生成跑题音频）+ 对抗过滤（同 prompt 多采样按 CLAP 分挑低分），再按胜负 CLAP 分差 + 败者绝对分剪枝去噪；③ 把 DPO 的 $\log ({\pi }_{\theta }/{\pi }_{ref})$ 换成扩散模型在各时间步的去噪损失差（diffusion-DPO），套进同一个 $\sigma (\cdot )$ 分类损失。训练 = 1 epoch SFT 热身 + 4 epoch DPO，2×A100 约 3.5h。
• 一个易混点（讨论澄清）：扩散版 DPO 的 $\beta =2000$ 远大于语言模型版的常见取值，因为分数尺度不同（去噪损失差 vs 序列对数似然比），不能照搬 LLM 侧的直觉。
• prompt 扰动为何有效（讨论结论）：它精准命中论文动机——老 TTA 模型”漏事件/时序乱”。故意破坏 prompt 的时序词造出的败者，正好教模型把注意力放到”每个概念是否出现、顺序是否正确”上，而非单纯提升音质。

引用与数据

• 发表：2024.04（arXiv），ACM MM 2024（Melbourne）接收
• 机构：新加坡科技设计大学（SUTD）、Meta AI、密歇根大学
• 作者：Navonil Majumder, Chia-Yu Hung, Deepanway Ghosal, Wei-Ning Hsu, Rada Mihalcea, Soujanya Poria
• arXiv: 2404.09956
• 代码：github.com/declare-lab/tango
• 数据集：Audio-alpaca
• 模型：declare-lab/tango2

相关

• Wiki 目录
• 音频生成
• 音频生成
• 资料摘要：Tango — 前作：Flan-T5 + LDM 基座
• 资料摘要：TangoFlux — 后继：换成 Flow Matching + CRPO
• 资料摘要：AudioLDM