LLM Wiki

资料摘要：Stable Audio 3

13分钟阅读

资料摘要：Stable Audio 3

Stability AI 的旗舰潜空间扩散音频生成模型家族（small / medium / large），面向乐器音乐与音效的变长生成与编辑。核心由三部分构成：一个 4096× 超高压缩比的语义-声学自编码器（SAME）、一个用 Flow Matching + 蒸馏 + 对抗后训练 三阶段训练的扩散 Transformer、以及推理端 8 步 Ping-Pong 采样（无需 CFG）。在 H200 上 <2s 生成长达 6m20s 的 44.1kHz 立体声，small 可在 MacBook Pro M4 CPU 上运行；全部用授权 + 知识共享（CC）数据训练，并开源 small / medium 权重。arXiv 2605.17991（2026-05-18）。 Stable Audio 3 - Technical Report

核心要点

  • 三档模型家族：small(459M, SAME-S, ≤2m)、medium(1.4B, SAME-L, ≤6m20s)、large(2.7B, SAME-L, ≤6m20s)。参数量仅指扩散 Transformer；medium/large 单模型统一覆盖音乐+音效，small 因容量受限拆为 small-music / small-sfx 两个专用模型。开源 small / medium 权重（stable-audio-tools · stable-audio-3）。
  • SAME 语义-声学自编码器：4096× 下采样（远高于以往 1024–2048×），输出 256 维潜表示（~10.76 Hz）。借鉴图像域 Representation Autoencoder（RAE）思想，首个在音频域同时编码声学保真与高层语义结构的自编码器；用 Transformer Resampling Block（TRB）做下/上采样，扩散训练时冻结。
  • 变长生成（核心创新）：以往音频潜扩散固定长度、短音频要补静音跑满全长（浪费算力）。Stable Audio 3 原生变长——推理成本随时长线性缩放，被认为是首个类比图像扩散（位置编码 + 变长）实现原生变长音频扩散的工作。
  • 三阶段训练：① Flow Matching 预训练（速度预测 + MSE + minibatch 最优传输耦合）→ ② 蒸馏预热（10k 步，单步去噪器 MSE）→ ③ 对抗后训练（相对论对抗 + 对比 + CLAP 三损失，基于 ARC）。
  • Ping-Pong 采样 + 无 CFG：对抗后训练后模型可单步去噪，但 ε→x̂₀ 单步仍难；用「去噪-再加噪」交替的 8 步 Ping-Pong 采样（logSNR 均匀调度）自纠错。CFG 的增益在蒸馏预热中已内化，推理无需 CFG（省一半前向），利好端侧部署。
  • Inpainting 编辑：通过局部加性条件（masked latent + 二值 mask，零初始化 MLP 注入）支持单段/多段重绘与续写（causal mask），训练时按 全 mask 80% / 随机段 10% / 因果 10% 采样。
  • SOTA + 极速 + 可部署：开源权重中音乐（SDD）与音效（BBC SFX）双双 SOTA；H200 上 190s 音乐 <1s 生成；small <2.5GB VRAM、medium ~6.5GB（8GB 消费级 GPU 可跑）；合规数据训练，规避版权风险。

Stable Audio 3 架构图.excalidraw

⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’

Excalidraw Data

Text Elements

指向原始笔记的链接

详细笔记

定位与动机

Stable Audio 3 出自 Stability AI（Zach Evans、Julian D. Parker、Jordi Pons 等），是 Stable Audio 系列继 Stable Audio Open / Stable Audio 2.5 之后的新一代。当前音乐/音频生成两大路线为自回归（离散 token 序列）与潜空间扩散（连续潜表示 + 自编码器解码），另有二者混合。Stable Audio 3 走潜空间扩散 + Flow Matching路线，目标是：长时、变长、快速、可编辑、可在消费级硬件上运行、且数据合规。

模型家族

模型扩散 Tr. 参数d / D / H差分注意力SAME最大时长H200 推理开源
small-music / small-sfx459M1024 / 20 / 16✗SAME-S (108M)2m0.44s✓
medium1.4B1536 / 24 / 24✓SAME-L (852M)6m20s1.31s✓
large2.7B2048 / 26 / 32✓SAME-L (852M)6m20s1.80s—

small 用为 CPU 推理蒸馏的 SAME-S；引入音效数据会损害 small 的音乐连贯性，故拆成两个专用模型。medium/large 用单模型同时胜任音乐与音效。

架构：SAME 自编码器 + 扩散 Transformer

SAME（Semantically-Aligned Music autoEncoder）：立体声 44.1kHz →（patch 编码器 256× 下采样）→（TRB 再 16×）→ soft-norm 瓶颈 → 256 维潜表示，总压缩 4096×。TRB 通过「在输入序列中交错可学习输出嵌入、过若干 Transformer 层后只保留输出嵌入」实现下采样，上采样则反向。训练损失含五项：多分辨率 STFT 谱重建、相对论 GAN 对抗、扩散对齐（小型 4 层 DiT 在潜空间联合训练，使潜几何利于扩散）、语义回归（chroma / 双耳声级差 ILD）、对比潜对齐（潜-音频-T5Gemma 文本三元组判同源）。扩散训练时 SAME 冻结。

扩散 Transformer（基于 DiT / PixArt 的 AdaLN-Single）：SAME 潜（256→d 线性投影）前置 64 个 memory embeddings（全局记忆缓冲，类比 ViT registers），过 D 层 Transformer 后丢弃。条件经三条通路注入：

条件注入方式
文本提示冻结 T5Gemma（google/t5gemma-b-b-ul2）编码 256×768 → 交叉注意力
时长（秒）同时经 交叉注意力（与文本拼接）和 AdaLN（与时间步一起）
扩散时间步 tFourier 特征 → AdaLN-Single（块间共享调制 + 块内偏置）
Inpainting mask局部加性条件：257×L（masked latent + mask）→ 零初始化 MLP → 逐块加到残差流

其他工程要点：medium/large 用差分注意力（Differential Transformer，两组 Q/K 共享 V，注意力图相减抵消共模）；QK-RMSNorm 稳定注意力 logit；部分 RoPE（每头仅旋转 32 维）；FFN 用 SwiGLU（4d 宽）；归一化用 RMSNorm。

变长生成（核心创新）

固定长度扩散（如 Stable Audio 2.5）生成短片段需跑满最大长度，算力多花在生成静音上；直接在更短序列上推理又会质量退化（论文 5.4「misused」实验证实）。Stable Audio 3 训练时用三机制支撑变长：

  1. 变长注意力 + 掩码损失：短序列右侧 padding，padding 位用 varlen flash-attention 屏蔽，损失只在有效信号位计算；memory embeddings 参与注意力但不计损失。
  2. 逐元素时间步偏移：长序列元素间相关性强、同噪声水平下更易恢复，故按（去 padding 后）长度把时间步分布向高噪声偏移（μ 从短序列 0.5 → 长序列 1.15，logistic 形式），给长序列更多高噪训练预算。
  3. 静音增强：信号尾部随机拼接静音潜（指数分布、平均 ~4s），打破「时长条件 ↔ 信号长度」的直接对应，教模型自然收尾。

推理时按请求时长 d 分配 L=⌈(d+d_silence)·fs/r⌉ 个潜帧（d_silence=6s 静音 padding、fs=44100、r=4096），生成后裁掉 padding。

三阶段训练流水线

阶段目标关键做法
① Flow Matching 预训练学速度场 v=ε−x₀线性插值 xₜ=(1−t)x₀+tε；MSE 损失（分 inpaint 区/上下文区两项）；minibatch 最优传输耦合（Sinkhorn 配对 x₀↔最近 ε，拉直轨迹）；截断 logit-normal 采时间步；训练期 10% 概率置零条件以支持 CFG
② 蒸馏预热多步 ODE → 单步学生把教师 ODE 轨迹上任意 xₜ 直接映射到端点 x̂₀（MSE，10k 步）；保留速度参数化 + 单步 Euler 复原 x̂₀，平滑过渡。代价：MSE 回归到条件均值 E[x̂₀|xₜ]，细节被抹平
③ 对抗后训练恢复感知锐度 + 少步见 对抗后训练（Adversarial Post-Training）。相对论判别器在 x₀ 空间比较；判别器复用生成器架构做特征提取器 + 卷积打分头；判别器噪声水平 t_D 与生成器 t 解耦

对抗后训练三损失：相对论对抗损失 L_R（softplus 平滑、配对真/假同 prompt）驱动感知质量；对比损失 L_C（打乱 prompt 构造负样本）迫使判别器理解音文对齐而非只看音质；CLAP 损失 L_CLAP（在 SAME 潜上训练的 CLAP，超球面测地距离）给生成器显式文本对齐信号、防模式崩塌。优化器为 Muon+AdamW 混合。

推理：Ping-Pong 采样

对抗后训练得到的模型理论可单步生成，但纯噪声 ε→x̂₀ 单步仍难（论文 5.7：单步 FAD 显著劣化）。Ping-Pong 采样把一大步拆成多小步：每步先单步去噪到 x̂₀，再以更低噪声水平重新加噪，迭代细化——自纠错（ODE 解算器会前向累积误差，Ping-Pong 的再加噪可纠正前面的坏估计）。调度在 logSNR 空间均匀（λ∈[−6.2, 2.0]，N=8），8 步在质量/效率间最优。因 CFG 增益已在蒸馏预热中内化、文本对齐由 L_CLAP 进一步细化，推理无需 CFG。

关键结果

  • 乐器音乐（SDD, 120s）：large FAD 0.101 / medium 0.107，优于 ACE-Step 1.5（0.193）、DiffRhythm 2（0.293），与内部最强基线 Stable Audio 2.5（0.106）相当但音乐性（MUS）更高；推理 0.78–0.81s vs 基线 3.88–6.23s。190s 设置下 large FAD 0.100，时长翻倍几乎不退化。
  • 音效（BBC SFX, 5s）：large FAD 0.358 / medium 0.369，全面超越 Woosh Flow（0.580）、SAO-small（0.500）、TangoFlux（0.760）。
  • 速度：H200 上 6m20s <2s；TensorRT 加速后 large 380s 仅 0.63s、medium 380s 0.43s。
  • 可部署：峰值显存 small <2.5GB / medium ~6.5GB / large ~9GB；MacBook Pro M4 上 small CoreML 120s 仅 3.09s（CPU-only 5.92s）。
  • 编辑：单段/双段 inpainting 数值接近（双段不劣化），medium/large 过渡比 small 更平滑；续写因单侧无约束 FAD 略差于 inpaint。
  • 消融：base（50 步 Flow Matching）质量与速度均劣于 post-trained（8 步 Ping-Pong）；单步虽最快但 FAD/CLAP 明显退化，故选 8 步。

引用与数据

  • 标题：Stable Audio 3 — Technical Report
  • 作者：Zach Evans, Julian D. Parker, Matthew Rice, CJ Carr, Zack Zukowski, Josiah Taylor, Jordi Pons（Stability AI）
  • 时间：2026-05-18 · arXiv: 2605.17991 [cs.SD]
  • 代码：Stability-AI/stable-audio-tools · Stability-AI/stable-audio-3
  • 训练数据：AudioSparx（授权，806,284 条音乐/乐器/音效）+ Freesound CC（266,324 CC-0 / 194,840 CC-BY / 11,454 CC-Sampling+，PANNs 标签 + 第三方版权检测过滤）
  • 文本编码器：T5Gemma（google/t5gemma-b-b-ul2，冻结）；评测：FAD / CLAP（LAION-CLAP）+ 14 人 MOS 听测（OVL/REL/MUS）
  • 评测集：Song Describer Dataset（SDD，424 乐器音乐对）、BBC Sound Effects（按时长分多档子集）
  • 关联工作：SAME 自编码器（Parker et al. 2025，技术报告 [40]）、ARC 对抗后训练（WASPAA 2025）

相关

关系图谱

反向链接