CFG（无分类器引导）

一种无需额外分类器的条件生成引导技术：同一模型联合学习条件与无条件两种预测，推理时把二者之差外推放大，用一个引导强度 $w$ 在「文本贴合度」与「多样性」之间换挡。

是什么

无分类器引导（Classifier-Free Guidance, CFG，Ho & Salimans, 2022）是扩散/流匹配等生成模型中最常用的条件强化手段。它取代了早期需要单独训练噪声分类器的 classifier guidance：只用一个网络，训练时以概率 $p$（本库中常见 $p=0.2$）随机丢弃条件 $c$，从而同时学到：

• 条件预测 ${\epsilon }_{\theta }(x_t,c)$
• 无条件预测 ${\epsilon }_{\theta }(x_t,\varnothing )$

推理时把两者的差值外推：

${\tilde{\epsilon }}_{\theta }(x_t,c)={\epsilon }_{\theta }(x_t,\varnothing )+w\cdot [{\epsilon }_{\theta }(x_t,c)-{\epsilon }_{\theta }(x_t,\varnothing )]$

其中 $w$ 为引导强度（guidance scale）。$w=1$ 退化为普通条件采样，$w>1$ 越大越贴合条件、但多样性下降、易过饱和。对流匹配模型，$\epsilon$ 换成速度场 $v_{\theta }$，形式不变。

为什么重要

1. 通用且免额外训练：任何条件生成模型只要在训练时加一句「以 $p$ 概率丢条件」即可获得，几乎零成本，已成为音频/图像扩散的默认组件。
2. 可调的质量-多样性旋钮：$w$ 提供推理时的单一超参，无需重训即可调节文本对齐强度——本库各模型选值差异很大（见下表），反映了任务与潜空间的不同。
3. 是少步加速的关键代价来源：带 CFG 的每一步需要 conditional + unconditional 两次前向，即 $\text{NFE}=2\times \text{steps}$。这使 CFG 成为推理提速的首要优化对象（见下文「CFG-free 趋势」）。

工作原理

训练

• 条件 dropout：以概率 $p$ 用空条件 $\varnothing$（可学习的 null embedding 或全零）替换真实条件。本库中 资料摘要：CosyVoice 2、资料摘要：Dasheng AudioGen 均用 $p=0.2$；资料摘要：Stable Audio 3 训练期以 10% 概率置零条件。
• 多字段条件可分别 dropout：Dasheng AudioGen 对除 <|caption|> 外的各结构化字段独立以 0.2 概率丢弃，从而支持不同详细度的输入。

推理

• 每步做两次前向（条件 / 无条件），按上式外推后再送采样器。
• 本库中的引导强度取值：

模型	引导强度 $w$ / $\beta$	采样步数	备注
资料摘要：CosyVoice 2（CFM 解码器）	0.7	NFE=10	token→梅尔的流匹配
资料摘要：Dasheng AudioGen	5.0	25 步	潜空间流匹配 DiT
资料摘要：AudioX	3.0	—	统一多模态 MMDiT
资料摘要：MusicGen	训练时启用	—	声学 token AR

CFG-free 趋势（少步蒸馏内化引导）

近期音频模型倾向把 CFG 的增益内化进模型权重，推理时不再显式做两次前向，直接省掉一半算力：

• 资料摘要：Stable Audio 3：CFG 增益在蒸馏预热阶段内化，文本对齐再由 $L_{\text{CLAP}}$ 细化，推理用 8 步 Ping-Pong 采样、无需 CFG。
• 资料摘要：AudioX-Turbo：通过 DMD + diffusion discriminator 把教师蒸馏为 4-step CFG-free 学生，$\text{NFE}=\text{steps}=4$（而带 CFG 的基线 $\text{NFE}=2\times \text{steps}$），相比 50-step CFG 基线最高约 25× NFE 加速。

与相邻概念的区别

手段	是否需额外网络	推理开销	说明
Classifier Guidance	需单独训噪声分类器	+分类器梯度	CFG 的前身，已基本淘汰
CFG	否（同一网络）	每步 2× 前向	当前默认
CFG-free（蒸馏内化）	否	每步 1× 前向	少步模型的目标形态
ComposableART	否（CFG 扩展）	视组合数	资料摘要：Fugatto 推理时组合多条指令的引导

CFG 是采样期的引导技巧，与 条件流匹配（CFM）、DiT（Diffusion Transformer） 这类生成骨干/训练范式正交——任何骨干都可叠加 CFG。

常见误解

• 「CFG 强度越大越好」：过大的 $w$ 会导致过饱和、伪影、多样性坍塌；最优值高度依赖潜空间与任务（本库取值从 0.7 到 5.0 不等）。
• 「CFG 是一种损失/训练目标」：CFG 本质是推理期外推，训练侧只多了条件 dropout；真正作为损失注入文本对齐的是 资料摘要：Stable Audio 3 的 $L_{\text{CLAP}}$，不要与 CFG 混淆。
• 「CFG-free 意味着不用引导」：CFG-free 是把引导内化进权重（蒸馏/DMD），并非放弃引导，只是不在推理时显式做两次前向。

历史与演进

• 2021: Dhariwal & Nichol 提出 classifier guidance（需额外分类器）
• 2022: Ho & Salimans 提出 Classifier-Free Guidance，成为扩散模型标配
• 2023–: 迁移到文本到音频/音乐（AudioLDM、MusicGen、Tango 等）
• 2024: 流匹配 TTS 沿用（CosyVoice 2，$\beta =0.7$）
• 2026: CFG-free 少步化成为主线——资料摘要：Stable Audio 3 8 步 Ping-Pong 内化 CFG、资料摘要：AudioX-Turbo 4-step CFG-free 蒸馏，把「省掉那次无条件前向」变成核心加速点

相关

• 资料摘要：An Introduction to Flow Matching and Diffusion Models（MIT 6.S184） — 第 5 章：从 classifier guidance 的贝叶斯拆分推导 CFG
• 条件流匹配（CFM） — 常与 CFG 搭配的生成骨干
• 分布匹配蒸馏（DMD） — 少步蒸馏，内化 CFG 增益
• 对抗后训练（Adversarial Post-Training） — Stable Audio 3 借其把 CFG 内化到 8 步
• 资料摘要：Stable Audio 3 — CFG-free 8 步 Ping-Pong 采样
• 资料摘要：AudioX-Turbo — 4-step CFG-free 蒸馏，NFE 减少约 25×
• 音频生成
• Wiki 目录