LLM Wiki

音频生成

8分钟阅读

音频生成

利用深度学习模型从文本、图像、视频等条件输入自动合成音频内容（语音、音乐、音效、环境声等）的技术，2025-2026 年正从任务专用模型走向统一基础模型。

是什么

音频生成（Audio Generation）指的是使用生成模型自动创造音频内容。输入可以是文本描述（text-to-audio）、视频（video-to-audio）、图像（image-to-audio）或其他音频（audio-to-audio 变换），输出为波形或声学表示。

核心技术路线

1. 扩散/Score-Based 模型（当前主流）

基于扩散过程，逐步从噪声中还原出目标音频：

  • Diffusion Transformer (DiT)：AudioX、LongCat-AudioDiT 等使用 DiT 作为骨干；GenAU 提出 FIT（Far-reaching Interleaved Transformer），通过局部-全局注意力分离实现更高效的音频扩散缩放
  • Score-Based 框架：通过得分匹配学习数据分布的梯度
  • 条件机制：Classifier-Free Guidance (CFG)、交叉注意力、ComposableART 等
  • 少步生成加速：蒸馏与 对抗后训练 把多步采样压到极少步——Stable Audio 3 用 8 步 Ping-Pong、无需 CFG；AudioX-Turbo 用 Flow Matching 版 DMD 把统一模型压到 4 步 CFG-free
  • 代表工作：Stable Audio 3、AudioX、AudioX-Turbo、DreamAudio、LongCat-AudioDiT、GenAU

2. 语言模型路线（LM-based，快速崛起）

将音频离散化为 token 序列，用自回归语言模型生成：

  • RVQ Tokenizer：残差向量量化，将音频分为多层离散 token
  • 关键挑战：跨层特征不正交、深层曝光偏差
  • 突破：Siren（2025）首次让 LM 路线超越 Diffusion
  • 代表工作：Siren、Plan-Critic、Khala

3. 连续表示路线（新兴）

绕过离散量化的信息瓶颈，直接使用连续值 token：

  • 代表工作：ICML 2025 连续值 Token 音频语言模型；DashengTokenizer（2026）——冻结语义编码器 + 线性声学注入的连续统一 tokenizer，同一表示兼顾理解与生成

4. CALM 路线（自回归 + 流匹配融合，2026 最新）

在因果 LM 的每个音频位置用流匹配头替代 softmax，预测连续潜空间的 rectified-flow 速度——同时保留 AR 的流式/上下文能力和流匹配的高保真连续表示：

  • AudioCALM（2026.06）：首个通用 CALM 框架，Qwen3-1.7B 骨干 + AR-Flow 块因果注意力 + A-MoME 非对称专家，单一权重在语音/音效/音乐三类均达 SOTA
  • DiTAR（2025）：首个音频 CALM，但仅语音且无 A-MoME
  • 核心优势：消除 codec 量化瓶颈 + 端到端优化 + 原生变长流式生成
  • 详见 CALM（连续自回归语言建模）

关键挑战

挑战说明
指令遵循模型难以精确遵循复杂的多事件文本描述
长时生成长音频（>30s）的时间一致性难以保持
评测体系FAD、CLAP 等客观指标与人类感知相关性差
数据稀缺高质量标注的音频-文本对远少于图像-文本对；AutoReCap-XL（47M 片段）证明自动标注+规模化管道可缓解此瓶颈
可控性细粒度控制（事件时间、空间位置等）仍是难点；ControlAudio（ACL 2026）首次在统一 DiT 框架下实现时间控制+可懂语音，通过渐进三阶段训练+结构化提示+渐进引导采样突破数据稀缺瓶颈

演进趋势（2025-2026）

  1. 统一框架：从任务专用模型走向单一多任务模型（AudioX、UniSonate、Fugatto）；Dasheng AudioGen 进一步走向同段混合音频场景（语音+音乐+音效+环境共存）；AudioCALM 开创 CALM 范式——在单一自回归 LM 中以连续流匹配头消除 codec 瓶颈，统一三类音频生成且均达 SOTA；UniMoE-Audio 用 Dynamic-Capacity MoE + Top-P 路由统一语音和音乐，以 ~40k 小时数据取得与 10M 小时数据量级专用模型可比的性能
  2. 高维语义-声学潜空间：Stable Audio 3（SAME）与 Dasheng AudioGen（DashengTokenizer）同期论证——用高维、含语义先验的潜空间替代低维声学 VAE，更利于扩散收敛并容纳并发成分；DashengTokenizer 进一步证明这套「冻结语义 + 声学注入」的连续统一表示在 TTA/TTM 上直接超越 VAE（FAD 3.06 vs 4.27），挑战「音频合成必须靠 VAE」的定论
  3. LM 崛起：Siren/Plan-Critic 让 LM 路线重新成为竞争者；AudioCALM 的 CALM 范式进一步融合 LM 的 AR 优势与流匹配的高保真
  4. 个性化：DreamAudio 等开启音频生成的”定制化”方向
  5. 实时/流式：Apple SpeakStream 等针对实时交互场景；AudioCALM 原生支持流式变长生成
  6. 评测改革：多篇综述呼吁建立与人类感知一致的评测基准；Dasheng 提出 PAFI（LLM-as-judge 物理声学保真度）
  7. 少步/实时化：AudioX-Turbo 表明统一 anything-to-audio 模型也能通过 DMD + 判别器蒸馏到 4-step CFG-free，效率成为继统一能力与数据质量后的第三条主线。
  8. 可控生成：ControlAudio（ACL 2026）开创性地在统一框架内实现时间控制+可懂语音 TTA，通过渐进建模策略（数据→训练→推理三阶段递进）和结构化提示解决数据稀缺问题，AudioCondition Eb 55.58 / AC-Filtered WER 6.84 均 SOTA。

常见误解

  • “音频生成 = TTS” — TTS 只是音频生成的子任务，还包括音乐、音效、环境声等
  • “扩散模型永远优于 LM” — Siren 和 Plan-Critic 证明 LM 路线在指令遵循上有独特优势
  • “数据越多越好” — IF-caps 等研究表明，细粒度标注质量比数量更重要；GenAU 验证了仅扩大低质量标注数据无增益，标注质量与数据量同等重要

相关

关系图谱

反向链接