CLAP（对比语言-音频预训练）

音频领域的 CLIP：联合训练文本编码器与音频编码器，用对比学习把配对的音频-文本拉近到同一潜空间。在本库中它身兼三职——生成空间、训练损失与评测指标。

是什么

CLAP（Contrastive Language-Audio Pretraining，Elizalde et al., 2022–2023；社区常用 LAION-CLAP 开源权重）是 CLIP 思想在音频上的迁移：给定大量「音频-文字描述」对，联合训练两个编码器，使匹配对的嵌入在共享潜空间中相似度高、非匹配对相似度低。训练好后，文本嵌入与音频嵌入可直接比较，因此既能当条件/生成空间，也能当跨模态对齐的度量。

为什么重要

CLAP 在文本到音频（TTA）生态里出现频率极高，本库有 13+ 页引用，因为它同时扮演三种角色：

1. 作为生成空间 / 条件

• 资料摘要：AudioLDM：直接在 CLAP 音频潜空间里训练潜空间扩散模型，采样时以 CLAP 文本嵌入为条件引导，避免显式建模复杂跨模态映射——这是 CLAP 最经典的生成用法。
• 资料摘要：GenAU：把 CLAP 音频编码器 + 可学习投影产出的全局特征 x_clap 作为条件注入 FIT block 的交叉注意力（消融显示移除后指标下降）。

2. 作为训练损失

• 资料摘要：Stable Audio 3：对抗后训练三损失之一即 $L_{\text{CLAP}}$（在 SAME 潜空间上训练的 CLAP，用超球面测地距离），给生成器显式的文本对齐信号、防模式崩塌。正因文本对齐由 $L_{\text{CLAP}}$ 兜底，模型推理才能做到 CFG-free。

3. 作为评测指标（CLAP score）

CLAP 分数（文本-音频嵌入相似度）几乎是 TTA 论文的标配指标，常与 FAD 并列：

• 资料摘要：Plan-Critic：用 GAE 把最终 CLAP 分数沿时间反向传播来训练评判器，推理时引导剪枝，CLAP 分数最高 +10，刷新 AR T2A SOTA。
• 资料摘要：GenAU：报告 CLAP_LAION，GenAu-L 较最佳基线 CLAP +13.5%（全量数据 +20.5%）。
• 资料摘要：ControlAudio：FAD 1.56 / CLAP 0.535，证明加控制不牺牲基础质量。
• 资料摘要：UniSonate、资料摘要：MOSS-SoundEffect v2、资料摘要：MusicGen 等评测表中普遍以 FAD/CLAP 衡量音效/音乐的质量与文本相关性。

工作原理

• 对比目标：一个 batch 内，最大化 $N$ 个正确音文对的相似度、压低 $N^2-N$ 个错误对（InfoNCE，与 CLIP 同构）。
• 作为条件：文本 → CLAP 文本编码器 → 嵌入 → 作为扩散/流匹配的条件向量。
• 作为指标（CLAP score）：$\text{sim}(E_{\text{audio}}(\hat{x}),E_{\text{text}}(c))$，衡量生成音频 $\hat{x}$ 与文本 $c$ 的对齐程度，值越高越贴合。
• 数据过滤：也用于清洗训练数据，如 资料摘要：GenAU 丢弃 CLAP 相似度 < 0.1 的音文对。

与相邻概念的区别

指标	衡量什么	方向
CLAP score	音频与文本的语义对齐	越高越好 ↑
FAD（Fréchet Audio Distance）	生成分布与真实分布的距离	越低越好 ↓
KL / FD	分布/特征差异	越低越好 ↓
MOS	人类主观听感	越高越好 ↑

CLAP 回答「像不像描述的那样」，FAD 回答「像不像真实音频」——二者互补，通常并列汇报。CLAP 与 条件流匹配（CFM）、DiT（Diffusion Transformer） 等生成骨干正交，是对齐/评测层的组件。

常见误解

• 「CLAP 只是个评测指标」：它至少有三重身份（生成空间 / 损失 / 指标），资料摘要：AudioLDM 与 资料摘要：Stable Audio 3 分别把它用作生成空间与训练损失。
• 「CLAP 越高音质越好」：CLAP 只反映文本对齐，不反映保真度；需与 FAD/MOS 联看，否则可能出现「贴文本但难听」。
• 「CLAP 就是 CLIP」：思想同源，但 CLAP 针对音频域重训编码器，且有 LAION-CLAP、MS-CLAP 等不同权重，分数不可跨版本直接比较。

历史与演进

• 2021: CLIP（图文对比预训练）奠定范式
• 2022–2023: CLAP 迁移到音频（Microsoft CLAP、LAION-CLAP）
• 2023: AudioLDM 在 CLAP 潜空间做潜空间扩散，成为 TTA 经典
• 2023–: CLAP score 成为 TTA/TTM 评测标配（与 FAD 并列）
• 2026: Stable Audio 3 把 CLAP 用作对抗后训练损失以支撑 CFG-free；Plan-Critic 用 CLAP 分数做 GAE 强化引导，+10 分刷新 SOTA

相关

• 资料摘要：AudioLDM — 在 CLAP 潜空间做潜空间扩散
• 资料摘要：Stable Audio 3 — CLAP 作对抗后训练损失（$L_{\text{CLAP}}$）
• 资料摘要：Plan-Critic — CLAP 分数驱动 GAE 强化引导
• 对抗后训练（Adversarial Post-Training）
• CFG（无分类器引导） — 文本对齐由 CLAP 兜底后可 CFG-free
• 音频生成
• Wiki 目录