LLM Wiki

资料摘要：TangoFlux

9分钟阅读

资料摘要：TangoFlux

Tango 系列的第三代，换掉扩散生成范式：改用 Rectified Flow（Flow Matching）+ MMDiT/DiT 主干，仅 515M 参数即可在 A40 上 3.7s 生成 30s/44.1kHz 音频。提出在线偏好优化 CRPO（CLAP-Ranked Preference Optimization），迭代生成偏好数据对齐 rectified flow，客观 + 主观均达 SOTA。SUTD × NVIDIA × Lambda。 TangoFlux - Super Fast and Faithful Text to Audio Generation with Flow Matching and CLAP-Ranked Preference Optimization

核心要点

  • 范式切换：从 Tango/Tango 2 的 Latent Diffusion 换成 rectified flow（Flow Matching），用更少采样步得到高质量音频 —— 这是它”超快”的根本原因。
  • FLUX 式混合主干：借鉴图像生成 FLUX，采用 6 层 MMDiT + 18 层 DiT 混合架构（8 头 ×128 宽 = 1024 宽）。MMDiT 表现强，简化部分为单 DiT 块提升可扩展性与参数效率。
  • 小而快：仅 515M 可训练参数，A40 上 3.7s 生成 30s、44.1kHz 音频，比次快模型约 2× 快，参数更少。
  • CRPO 在线偏好对齐：针对”TTA 没有 LLM 那样的可验证奖励/标准答案”这一难题，提出 CLAP 排序的偏好优化 —— 迭代地生成新合成数据并现场构造偏好对，比静态偏好数据集（如 BATON、Audio-alpaca）效果更好。
  • 在线 > 离线是关键发现：每轮重新生成数据（online）能让 CLAP 分持续上升到第 4 轮、KL 持续下降；用固定数据集（offline）第 2 轮就早停退化。
  • 完全非专有数据：在纯开源训练数据设定下达到 SOTA。

详细笔记

动机

  1. 可控性/幻觉问题：既有 TTA 遇复杂 prompt 常漏事件、或生成 prompt 里没提的”临近但意外”事件（幻觉）。
  2. 对齐缺口：LLM 靠 RLHF/DPO 对齐大幅进步，但 TTA 缺少可验证奖励或标准答案，难以构造偏好对。Tango 2 已开先河（diffusion-DPO），TangoFlux 进一步把对齐做成”在线自我迭代”。

方法（pipeline：预训练 → 带对齐的微调）

  • 音频编码：复用 Stable Audio Open 的 VAE（44.1kHz 立体声 → 潜表示 ），训练中冻结。
  • 条件：
    • 文本条件 —— FLAN-T5（延续 Tango 系列的选择）；
    • 时长条件 —— 小网络把音频时长编码成 duration embedding ，与文本编码拼接，控制输出长度（≤30s）。
  • 主干：MMDiT ×6 + DiT ×18，学习从噪声到音频潜表示的 rectified flow 轨迹。
  • CRPO 对齐（迭代循环）：
    1. 用当前模型对一批 prompt 生成多个候选音频；
    2. 用 CLAP 分数排序，取高分为胜者、低分为败者构造偏好对；
    3. 用 rectified-flow 版偏好损失优化；
    4. 下一轮重新生成新数据，重复。

关键结果（AudioCaps，A40 同卡对比）

模型参数时长FD_openl3↓KL_passt↓CLAP↑IS↑
AudioLDM 2-large712M10s107.91.830.4157.3
Stable Audio Open1056M47s88.52.670.2869.3
Tango 2866M10s108.31.140.4528.4
TangoFlux-base515M30s79.71.230.43810.7
TangoFlux515M30s75.21.200.48811.1
  • 除 KL_passt 略逊 Tango 2 外，TangoFlux 在所有客观指标上超越全部基线。
  • 多事件 prompt 上 CLAP 领先幅度更大 —— 说明它更擅长把握含多个事件的复杂指令。

对话洞见

  • 与 Tango / Tango 2 的关系（用户问）：三者同出 SUTD declare-lab，是同一系列的三代演进：
    • Tango = Flan-T5 + LDM（奠基，主打数据效率）；
    • Tango 2 = 同架构 LDM + DPO 偏好对齐（Audio-alpaca 静态偏好集）；
    • TangoFlux = 换成 Rectified Flow + MMDiT/DiT 主干 + CRPO 在线偏好对齐（主打又快又准）。
    • 一条不变的主线：文本编码器始终是冻结的 FLAN-T5。变化的是生成器（LDM→Flow Matching）与对齐方式（无→离线 DPO→在线 CRPO）。
  • 批判性判断：真正的新意在 CRPO 的”在线迭代生成偏好数据”（论文用 online vs offline 消融证明其必要性），而非 rectified flow / MMDiT 本身（均借鉴自图像生成 FLUX / SD3）。价值点是把”图像域成熟范式 + 在线对齐”成功迁移到 TTA，并做到小参数量下的 SOTA 与实用推理速度。
  • 延伸线索：CRPO 依赖 CLAP 作为排序奖励，其上限受 CLAP 判别力约束；VAE 直接复用 Stable Audio Open，可视为站在开源生态肩上。可进一步 ingest 资料摘要：Stable Audio 3 对比其 Flow Matching 路线。

模型结构与 MMDiT 深挖（2026-07-09 对话）

  • 整体数据流（讨论梳理）：三个”外挂”组件全部冻结/复用——音频编解码用 Stable Audio Open 的 VAE、文本编码用 FLAN-T5、排序奖励用冻结 CLAP（只在 CRPO 阶段当裁判）。真正训练的只有中间 515M 的 [MMDiT×6 + DiT×18] 主干 + 小时长编码器。噪声 + 文本条件 + 时长 → 学 rectified flow 速度场 → 潜表示 → VAE 解码 44.1kHz 音频。
  • MMDiT 双流机制（用户要求详解）：讨论得出记忆要点——一个 MMDiT 块内只有”联合注意力”那一步是”合”的，投影 / adaLN / FFN 全是”分”的两套权重。文本 token 与音频 token 各自 adaLN 调制、各用各的 QKV 投影，再把 、、 拼成长序列做一次全局自注意力——注意力矩阵天然含文↔音双向跨模态两块，对齐即发生于此；之后按长度切回，各过各的 FFN。相比老式”文本单向当 K/V”的 cross-attention，双向且文本表示随层更新。
  • 为何”6 MMDiT 打底 + 18 单流 DiT 加深”（讨论结论）：前几层用最贵的双流交互把文本语义充分对齐进音频（保证 faithful、少漏事件/幻觉）；语义融入后丢掉文本流，用便宜的单流 DiT 加深——这是 FLUX 的设计哲学，也是 515M 小参数仍 SOTA 的结构性原因。wiki 同类对照：资料摘要：UniSonate 是 14 Joint + 6 Single（双流更多），配比相反。

「除 MMDiT 外还有何新颖」澄清（2026-07-09 对话）

  • 用户问：除 MMDiT 外 TangoFlux 还有哪些新颖之处？
  • 讨论结论（重要，纠正提问预设）：MMDiT 恰恰不是它的新颖点——MMDiT、Rectified Flow、VAE、FLAN-T5 全是从图像域（FLUX/SD3）/ 前作借来或复用的。TangoFlux 真正的原创性集中在：
    1. CRPO 在线迭代偏好对齐——唯一被消融专门证明的原创贡献（online>offline）；
    2. 把 DPO 偏好损失迁移适配到 rectified flow 速度场（Tango 2 是 diffusion-DPO，非 flow 版）；
    3. 时长可控变长生成（ 支持 ≤30s 任意时长，多数基线固定 10s）；
    4. “小、快、准、全开源”的组合效果（515M / A40 3.7s 出 30s / ~2× 快 / 纯非专有数据 / 多事件 prompt CLAP 领先更明显）。
  • 一句话：标题里 “Flow Matching and CLAP-Ranked Preference Optimization” 两词——前者是借来的引擎，后者（CRPO）才是招牌。

引用与数据

相关

关系图谱

反向链接