LLM Wiki

资料摘要：MAR

7分钟阅读

资料摘要：MAR

用扩散过程（Diffusion Loss）建模每个 token 的连续概率分布，证明自回归图像生成不需要向量量化。NeurIPS 2024 Spotlight，MIT/FAIR（Kaiming He 组）。 MAR - Autoregressive Image Generation without Vector Quantization

核心要点

  • Diffusion Loss：用扩散去噪过程替代交叉熵损失，直接建模连续值 token 的概率分布
  • 消除离散化：理论+实验证明”离散空间便于表示类别分布，但并非必需”
  • Masked Autoregressive（MAR）变体：将方法同时扩展到标准自回归和掩码自回归，支持并行解码加速
  • 竞争性质量：无向量量化下生成质量与离散方法可比，且保留序列建模的推理速度优势

详细笔记

动机

此前自回归图像生成（VQ-GAN、MaskGIT 等）严重依赖 VQ-VAE 将图像离散化为 token。但向量量化带来码本利用率低、训练不稳定、信息损失等问题。MAR 直接挑战”自回归生成必须有离散 token”这一前提。

方法：Diffusion Loss

核心创新在于将 per-token 的类别分布（softmax）替换为扩散过程定义的连续分布：

传统 AR：  p(x_i | x_<i) = softmax(f_θ(h_i))          # 有限类别
MAR：     p(x_i | x_<i) = diffusion_process(f_θ(h_i))  # 连续空间

Diffusion Loss 在训练时对目标 token 加噪，让模型预测噪声/去噪方向；推理时从纯噪声逐步去噪得到连续 token 值。

两种变体：

  • AR（标准自回归）：逐 token 顺序生成，每步做完整扩散去噪
  • MAR（掩码自回归）：一次性预测所有被掩码 token，每个 token 独立扩散去噪，支持并行解码

意义

MAR 从理论上消除了”离散 token 是自回归生成必要条件”的迷思，与 GIVT（GMM 头）并列构成视觉领域连续值自回归的两条技术路线。其 Diffusion Loss 思想与音频领域的 DiTAR（流匹配头）和 CALM（AR-Flow）形成跨模态呼应。

引用与数据

  • 作者：Tianhong Li, Yonglong Tian, He Li, Mingyang Deng, Kaiming He（MIT CSAIL / FAIR）
  • 发表：NeurIPS 2024（Spotlight）
  • 初版：arXiv 2406.11838（2024.06）
  • 代码：github.com/LTH14/mar

对话洞见

记录 2026-07-08 通读时围绕 Introduction 与 Method 的讨论。

逐步厘清的核心论证链（用户逐段解读原文时共同梳理）

  • “离散并非必需”的真正论据：一个可用于生成的分布只需两样东西——(i) 能衡量差距的损失函数、(ii) 能抽样的采样器。离散 token 之所以流行，只是因为类别分布让这两样都很好写（交叉熵 + Gumbel/温度），是”方便”而非”必然”。这是全文的支点。
  • 最易混淆点（讨论中特别澄清）：MAR 的扩散 ≠ Stable Diffusion 式 latent diffusion。后者用扩散建模所有 token 的联合分布；MAR 用扩散只建模单个 token 的分布 ，token 间依赖交给自回归。“自回归管依赖、扩散管单点分布”是理解全文的关键分工。
  • Diffusion Loss 的定位：它不是一个独立生成模块，而是一个带参数的损失函数（与对抗损失、感知损失同类），本质是 score matching，作用是”衡量 AR 产出的条件向量 好不好”，梯度回传更新 AR 主干。小 MLP 与主干联合训练。

用户认可的洞见

  • §3.4 的三层递进很关键：双向注意力也能做自回归 → 随机顺序自回归 → 一次预测一批（MAR = “next set-of-tokens prediction”）。由此把 MaskGIT/MAGE 统一进广义自回归框架。
  • MAR vs MAGE 的温度差别：MAR 的温度 作用在每个 token 的概率分布上（同 GPT）、用完全随机顺序；MAGE/MaskGIT 的温度是用来采”预测哪些位置”，非完全随机顺序，造成训练/推理行为 gap。

批判性判断

  • 论文的创新是概念解绑（AR 与 VQ 不必绑定）而非全新架构：去噪 MLP、AdaLN、cosine 调度、KL-16 tokenizer 都是现成组件，贡献在于把”每 token 扩散头”这一思路论证清楚并跑出强 FID（<2.0，最好 1.55）。
  • 说服力主要来自 KL-16(连续) vs VQ-16(离散) 的同源对照实验——tokenizer 同出 LDM，变量控制干净。

延伸线索

  • 已建立跨模态对照：资料摘要：GIVT（GMM 头，视觉另一条连续路线）、资料摘要：DiTAR（扩散 Transformer 头做语音）、CALM（连续自回归语言建模）（AR-Flow）。
  • 待办：本页「详细笔记」的方法部分仍偏概要，可补入 §3.2 温度采样的噪声缩放、§4 去噪 MLP 的 AdaLN 注入等细节（本次讨论已展开）。

相关

关系图谱

反向链接