资料摘要：ControlAudio

清华+生数科技提出渐进扩散建模方法，首次在统一框架内实现文本引导 + 精确时间控制 + 可懂语音的音频生成，ACL 2026 Main。

核心要点

• 问题：可控 TTA（精确定时 + 可懂语音）受数据稀缺制约，此前无统一框架同时支持两者
• 方法：将可控 TTA 重构为多任务学习，提出渐进扩散建模（Progressive Diffusion Modeling）贯穿数据/训练/推理三阶段
• 数据：标注管线（AudioSet-SL → Gemini 2.5 Pro 转录，152k 高质量语音事件）+ 模拟管线（LibriTTS-R 语音 + WavCaps/VGG-Sound 背景，171k 复杂场景）
• 模型：DiT 骨干 + Flan-T5 编码器 → 三阶段渐进训练（TTA 预训练 → 时间控制微调 → 时间+音素联合训练）
• 推理：渐进引导采样——先低引导强度建立时序结构，再高引导强度渲染语音内容
• 效果：AudioCondition Eb 55.58（SOTA）、AC-Filtered WER 6.84（SOTA），且不牺牲通用 TTA 质量

详细笔记

1. 问题定义与动机

传统 TTA（Text-to-Audio）仅基于文本描述生成音频。可控 TTA 的两大方向：

• 时间控制：“一只鸟在 2-5 秒鸣叫”（AudioComposer、FreeAudio 等）
• 可懂语音：“一个男人说：今天天气真好”（VoiceLDM、VoiceDiT 等）

但此前没有工作在统一框架下同时支持时间控制 + 可懂语音。核心障碍是数据稀缺——带精确定时标注+语音转录的大规模数据集几乎不存在。

2. 数据构建

标注数据：

• 从 AudioSet-SL 筛选含语音的 49,950 条 10 秒片段
• 双分离策略（MVSEP + Spleeter）提取干净语音轨
• 按 AudioSet-SL 原始时间戳分割为 173,831 个独立语音事件
• Gemini 2.5 Pro 转录 → 保留 152,070 个高质量事件（含精确起止时间 + 文本转录）

模拟数据：

• 从 AudioSet-SL 统计先验：79.1% 单说话人 / 20.9% 多说话人
• 单说话人：LibriTTS-R 同说话人多 utterance，按 utterance 分布采样（1-8 句）
• 多说话人：2-4 个不同说话人，每人 ≤4 句
• 与 WavCaps/VGG-Sound 非语音背景混合（SNR 2-10dB 均匀分布）
• 生成 171,246 个复杂音频场景

3. 统一语义建模

核心创新：用单一 Flan-T5 文本编码器统一编码文本、时间和音素信息。

结构化提示（Structured Prompt）：

In the light rain with rumbling thunder, a man is speaking, then a little girl greets him.
@{Light rain & <0.00,10.00>}
@{Rumbling thunder & <5.00,5.75><8.00,8.75>}
@{A man speaking & <0.00,4.50> "It's been raining all day."}
@{A little girl speaking & <6.00,7.50> "Hello daddy!"}

关键设计：

• @{} 特殊标记分隔事件描述与时间/内容
• <start,end> 精确时间窗口，支持多段（如雷声出现两次）
• 音素级别编码语音内容（如 hello → [HH, AH0, L, OW1]），比词级/BPE 更直接对应发音

CoT LLM 规划：用户自然语言 → LLM Chain-of-Thought 推理 → 结构化提示。三步：事件+时间规划 → 语音内容规划 → 提示重组。

4. 渐进模型训练（三阶段）

阶段	条件	目标	关键设计
Stage 1	text	TTA 预训练	1M steps，大规模文本-音频对，DiT 骨干
Stage 2	text + timing	时间控制微调	0.5M steps，条件切换（text 和 text+timing 随机切换防遗忘）
Stage 3	text + timing + phoneme	时间+语音联合训练	0.5M steps，解冻 Flan-T5 联合优化，三条件随机切换

反遗忘机制：Stage 2/3 中随机切换条件（纯文本 / 文本+时间 / 文本+时间+音素），避免引入新控制信号时牺牲基础 TTA 质量。

三阶段联合优化效果：Stage 3 不仅解锁语音可懂度，还进一步提升了时间精度——归因于 (1) 时间标注语音数据提供更丰富的对齐信号，(2) 文本编码器与扩散骨干的协同适应。

5. 渐进引导采样

将扩散反向过程分为两个阶段：

• Phase 1（t ∈ [1.0, t₁=88]）：简化提示（无音素），低引导强度 w_low=3 → 建立时序结构
• Phase 2（t ∈ (88, 0.0]）：完整提示（含音素），高引导强度 w_high=9 → 渲染可懂语音

核心洞察：扩散模型的 coarse-to-fine 采样特性天然匹配控制信号的粒度层次（时间=粗粒度 → 音素=细粒度）。

6. 实验结果

时间控制（AudioCondition）：

• Eb 55.58（SOTA，比 FreeAudio 44.34 高 25%，比 AudioComposer-Large 44.40 高 25%）
• At 79.52（SOTA，比 FreeAudio 68.50 高 16%）
• 10 类事件中 8 类最优，特别是 Speech 类 Eb 从 39→64 大幅提升

可懂语音（AC-Filtered）：

• WER 6.84（SOTA，比 VoiceDiT 7.09 低，比 VoiceLDM-M 8.84 低 23%）
• 主观 MOS：Intelligible 4.31、OVL 4.15（均最高）

通用 TTA（AudioCaps）：

• FAD 1.56、CLAP 0.535，与 Stable Audio 持平，证明可控性不牺牲基础质量

消融关键发现：

• 结构化提示 vs 自然语言：Eb 51.62 vs 46.23（+12%），复杂场景优势更大
• 音素 vs BPE vs 词级：WER 4.00 vs 7.53 vs 6.96（LibriTTS-R），音素显著最优
• 渐进采样 trade-off：低初始 w 保音频质量，高后续 w 保语音可懂度

7. 局限性

• 语音风格控制（情感、韵律、说话人身份）尚未覆盖
• 高质量音频 vs 可懂语音在复杂共存场景仍有 trade-off
• 数据依赖：标注+模拟数据有效但受限于原始数据质量

引用与数据

• 模型：DiT 24 层 / 24 头 / dim 1536，DAC-VAE 16kHz 25Hz 潜空间，Flan-T5 Large 编码器
• 训练：8×A800 GPU，总 batch 128，三阶段 2M steps
• 数据：AudioSet-SL 1.8M（标注管线产 152k 事件）+ 模拟 171k 场景
• 推理：100 步采样，20 人 MOS 评估

相关

• 音频生成 — 音频生成领域页
• 音频生成 — 概念页
• DiT（Diffusion Transformer） — DiT 骨干架构
• Wiki 目录