资料摘要：Tango

新加坡科技设计大学等提出的 TTA 模型，首次以指令微调 LLM（Flan-T5）作文本编码器，用 AudioLDM 63 分之 1 的数据量实现反超。 Tango - Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model

核心要点

• Flan-T5 做文本编码器：首个使用指令微调 LLM 作为 TTA 文本编码器，替代传统的 T5 或联合文本-音频编码器
• 极高数据效率：训练集仅为 AudioLDM 的 ~1/63，却在多数指标上超越 AudioLDM
• APL 声压级混合：基于音频压力水平（Audio Pressure Level）的 sound mixing 数据增强，优于随机混合
• 冻结文本编码器：Flan-T5 在训练期间完全冻结，极大降低计算开销
• 零样本/少样本泛化：指令微调特性带来更好的跨域迁移能力

详细笔记

动机

此前 TTA 系统（如 AudioLDM）使用非指令微调的文本编码器（如普通 T5），或需要预训练联合文本-音频编码器。Tango 假设：指令微调 LLM 的文本理解能力能大幅提升 TTA 质量。

方法

• 文本编码器：Flan-T5（Google 的指令微调 LLM），不参与梯度更新
• 生成器：Latent Diffusion Model (LDM)，与 AudioLDM 相同的扩散框架
• 声压级混合：按音频压力水平加权混合训练样本，替代简单随机混合
• 小数据训练：远小于 AudioLDM 的训练集规模

关键结果

• AudioCaps 测试集上多数指标超越 AudioLDM，其余持平
• 仅用 63 分之一数据量，证明了 “更好文本理解 → 更好音频生成” 的假设
• 验证了冻结 LLM 编码器的可行性 — 不需要微调也能获得高质量语义表征

后续发展

同团队沿 Tango 系列持续迭代，形成”扩散 → DPO 对齐 → Flow Matching”的演进链：

• 资料摘要：Tango 2（ACM MM 2024，arXiv:2404.09956）：架构不变（仍是 LDM），在 Tango 基础上用 DPO-diffusion 在合成偏好数据集 Audio-alpaca 上微调，显著提升语义对齐与时序正确性。
• 资料摘要：TangoFlux（arXiv:2412.21037）：更换生成范式，从 LDM 改为 Rectified Flow + MMDiT/DiT 主干，配合在线偏好优化 CRPO，515M 参数即可在 3.7s 内生成 30s/44.1kHz 音频并达 SOTA。

引用与数据

• 发表：2023.04（arXiv），ACL 2024 接收
• 机构：新加坡科技设计大学（SUTD）、Sea AI Lab 等
• 作者：Deepanway Ghosal, Navonil Majumder, Ambuj Mehrish, Soujanya Poria
• arXiv: 2304.13731
• 代码：github.com/declare-lab/tango
• Demo：Hugging Face Space

对话洞见

2026-07-08 通读并讨论后沉淀。

用户提出的疑问

• 「声压级混合数据增强到底在做什么？」 —— 讨论结论：这是一种”混音”式数据增强，把两段现有音频叠加、两句描述拼接，合成新的”文本-音频”配对以训练扩散模型的跨模态概念组合能力。关键在于不随机叠加，而是按两段音频的声压级 $G_1,G_2$ 算权重 $p={\left(1+10^{\frac{G_1-G_2}{20}}\right)}^{-1}$ 再按能量归一化混音 $\text{mix}(x_1,x_2)=\frac{p{x}_1+(1-p)x_2}{\sqrt{p^2+(1-p{)}^2}}$ 目的：避免响的声源盖过轻的（随机叠加的通病），保证融合音频里两个声源都听得清，从而让”两个声音”的描述真正对得上音频。分母 $\sqrt{p^2+(1-p{)}^2}$ 做能量归一化（声波能量正比于振幅平方），稳定整体响度。

批判性判断

• Introduction 的核心张力是在反驳 AudioLDM 的隐含前提——“必须靠 CLAP 音频引导 + 大数据才能做好 TTA”。Tango 的立论：把文本理解这一环换成足够强的指令微调 LLM，就能同时卸掉对”音频引导（CLAP）“和”海量数据”的双重依赖。三大贡献（弃用 CLAP / 冻结 Flan-T5 / 声压级混合）都服务于这条主线。
• 作者留了诚实让步：当前小数据（AudioCaps，比 AudioLDM 小 63 倍）是约束而非上限，若用 AudioSet 规模训练效果应更好——说明”1/63 反超”证明的是数据效率，不是绝对性能天花板。
• 与图像领域 Imagen（Saharia et al.）划界：Imagen 也用 T5，但未经指令微调；Tango 的增量正是”指令微调”这一步（Flan-T5 在 1.8K NLP 任务上以指令+思维链微调）。

相关

• Wiki 目录
• 音频生成
• 音频生成
• 资料摘要：Tango 2 — 后继：DPO 对齐版
• 资料摘要：TangoFlux — 后继：Flow Matching 版
• 资料摘要：AudioLDM
• 资料摘要：Fugatto