VAE（变分自编码器）

用概率化编码器 $q_{\varphi }(z\mid x)$ + 解码器 $p_{\theta }(x\mid z)$ + KL 正则把数据压进一个”好采样”的低维潜空间。它是**潜空间扩散（latent diffusion）**的基础——让扩散/流模型在低维潜空间训练，从而支撑高分辨率图像/视频生成。

是什么

变分自编码器（Variational Autoencoder, VAE）是在标准自编码器基础上引入概率与正则的生成模型。它由两部分组成：

• 编码器 $q_{\varphi }(z\mid x)=\mathcal{N}(z;{\mu }_{\varphi }(x),{\sigma }_{\varphi }^2(x))$：把数据 $x\in {\mathbb{R}}^d$ 编成低维潜变量 $z\in {\mathbb{R}}^k$（$k\ll d$）的分布。
• 解码器 $p_{\theta }(x\mid z)$：从潜变量重建数据。

与只求重建的普通自编码器不同，VAE 额外用 KL 散度把潜分布正则到一个简单先验 $p_{\text{prior}}=\mathcal{N}(0,I_k)$，使潜空间”规整、好采样”。

为什么重要

1. 潜空间扩散的基石：$1024\times 1024\times 3$ 图像的 $d\approx 3\times 10^6$，直接在像素空间跑扩散代价高昂。VAE 先把图像压到低维潜空间（如 16× 下采样），扩散模型 在潜空间训练与采样，再解码回像素——这就是 latent diffusion，当前几乎所有 SOTA 图像/视频模型（Stable Diffusion 3、Meta Movie Gen）的范式。
2. 规整潜分布：KL 正则保证潜分布接近高斯，让下游生成模型面对的是”简单、易学”的分布，而非被压缩扭曲成难学的分布。
3. “过滤高频、聚焦语义”：训练良好的自编码器可视为滤掉高频/语义无关细节，让生成模型专注于感知上重要的内容。

工作原理

从自编码器到 VAE

普通自编码器只优化重建损失 ${\mathcal{L}}_{\text{Recon}}=\mathbb{E}\Vert {\mu }_{\theta }({\mu }_{\varphi }(x))-x{\Vert }^2$，但对潜分布 $p_{\text{latent}}$ 无任何控制，可能不利于后续生成建模。VAE 放松”编解码器为确定性函数”的约束，改为概率分布并加先验正则。

VAE 训练目标

$${\mathcal{L}}_{\text{VAE}}(\varphi ,\theta )=\underset{\text{能否重建}}{\underbrace{{\mathcal{L}}_{\text{Recon}}(\varphi ,\theta )}}+\beta \underset{\text{潜分布是否像高斯}}{\underbrace{{\mathbb{E}}_x[D_{\text{KL}}(q_{\varphi }(\cdot \mid x)\Vert p_{\text{prior}})]}}$$

• 第一项：重建误差（编码再解码后能否还原 $x$）。
• 第二项：KL 正则，逼迫每个 $x$ 的编码分布接近 $\mathcal{N}(0,I)$；对所有 $x$ 成立则整体潜分布也接近高斯。
• $\beta \ge 0$ 权衡二者，即 β-VAE。对高斯情形展开后四项含义直观：重建误差、解码器置信度、把潜方差推向 1、把潜均值推向 0。

重参数化技巧（Reparameterization Trick）

期望里的采样分布依赖 $\varphi$，无法直接反传梯度。改写 $z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ,ϵ\sim \mathcal{N}(0,I_k)$——随机性移到与 $\varphi$ 无关的 $ϵ$，于是可用标准深度学习工具优化（Algorithm 6）。

用于潜空间生成（Latent Diffusion）

训练好 VAE 后，在潜空间照常训练流/扩散模型；推理时用编码均值 $x={\mu }_{\text{mean}}(z)$ 解码（取均值而非随机采样以避免噪声伪影）。注意：需先训练自编码器，再训练潜空间扩散模型；最终质量也取决于 VAE 压缩/重建的好坏。

实践要点

• 选 $\beta$ 与 KL warm-up：$\beta$ 过大会导致后验坍塌（编码器忽略 $x$，$q_{\varphi }\approx \mathcal{N}(0,I)$）；常从 $\beta =0$ 逐步升到目标值。现代自编码器 $\beta \ll 1$。
• 解码器方差：常固定 ${\sigma }_{\theta }^2$ 为常数，使重建项 ≈ MSE。
• 超越像素 MSE：像素 MSE 重建偏糊，实践中加感知损失（预训练网络特征空间）甚至**对抗损失（VAE-GAN）**提升清晰度。

与相邻概念的区别

模型	潜分布正则	编解码	主要用途
自编码器（AE）	无	确定性	压缩/表示学习
VAE / β-VAE	KL 到高斯先验	概率性	生成 + 潜空间扩散的压缩前端
扩散模型	—	—	在（VAE）潜空间上做迭代生成

一句话：VAE 负责”把高维数据压成好采样的潜码”，扩散/流模型负责”在潜空间里生成”，二者串联成 latent diffusion。

历史与演进

• 2013: Kingma & Welling 提出 VAE 与重参数化技巧。
• 2017: Higgins et al. 提出 β-VAE，用 $\beta$ 控制解耦/正则强度。
• 2021: Rombach et al.（Latent Diffusion / Stable Diffusion）确立”VAE 潜空间 + 扩散”范式。
• 2024–: SD3、Meta Movie Gen（时序自编码器 TAE）等在潜空间做流匹配，成为高分辨率图像/视频事实标准（本页据 MIT 6.S184 第 6.2 节整理）。

常见误解

• 「VAE 自己就是最终生成模型」：在 latent diffusion 里 VAE 主要充当压缩前端，真正的生成由潜空间的扩散/流模型完成。
• 「KL 越强越好」：过强会后验坍塌、重建崩坏；现代实现里 $\beta$ 通常很小。
• 「潜空间扩散的效果只看扩散模型」：不对，VAE 的重建/压缩质量直接决定上限。

相关

• 资料摘要：An Introduction to Flow Matching and Diffusion Models（MIT 6.S184） — 第 6.2 节 (Variational) Autoencoders 与附录 D
• 条件流匹配（CFM） — 在 VAE 潜空间训练的生成骨干
• DiT（Diffusion Transformer） — 潜空间扩散常用的骨干架构
• 资料摘要：SD3（MMDiT） — 潜空间流匹配的代表案例
• Wiki 目录