资料摘要：GIVT
首次将自回归 Transformer 的输出从离散 softmax 替换为高斯混合模型（GMM）参数，直接在连续潜空间预测像素值，无需向量量化。ECCV 2024，Google Research。 GIVT - Generative Infinite-Vocabulary Transformers
核心要点
- 连续输出头：用多元高斯混合模型（GMM）参数替代 softmax，预测 β-VAE 潜空间中连续向量的分布
- 输入侧改造：将词表查找表替换为输入向量的线性投影
- 无限词表：输出空间连续，不受有限码本约束——故称”无限词表”
- 超越 VQ-GAN 和 MaskGIT：在类别条件图像生成上优于同期离散方法，性能与潜扩散模型可比
- 多任务验证：在全景分割和深度估计上也取得强结果（基于 UViM 框架的 VAE 变体）
详细笔记
动机
传统自回归 Transformer 依赖离散 token（通过 VQ-VAE / VQ-GAN 量化），但向量量化引入信息瓶颈和码本坍塌等问题。GIVT 提出一个根本性问题：自回归 Transformer 是否必须输出离散分布？
方法
两项关键修改将标准 decoder-only Transformer 连续化：
| 组件 | 原始（离散） | GIVT（连续） |
|---|---|---|
| 输入层 | 词表嵌入查找表 | 输入向量的线性投影 |
| 输出层 | softmax 预测类别分布 | GMM 参数预测（均值、协方差、混合权重） |
训练目标：负对数似然 -log p(x_i | x_{<i})，其中 p 为 GMM 建模的连续分布。
意义
GIVT 是连续值自回归生成路线的开创性工作，证明了 Transformer 的输出不必是离散类别。这一思路直接启发了后续的 MAR（扩散头）、DiTAR（流匹配头）、CALM（AR-Flow）等工作，将连续预测头从视觉拓展到语音和通用音频。
引用与数据
- 作者：Michael Tschannen, Cian Eastwood, Fabian Mentzer（Google Research）
- 发表：ECCV 2024（camera-ready 2024.07）
- 初版：arXiv 2312.02116（2023.12）
- 代码：google-research/big_vision
相关
- Wiki 目录
- 资料摘要：MAR — 扩散头替代 softmax，NeurIPS 2024
- 资料摘要：DiTAR — 流匹配头用于语音生成，ICML 2025
- CALM（连续自回归语言建模） — AR-Flow 范式在通用音频的统一
- 音频生成