资料摘要：连续值 Token 音频语言模型
用连续值 token + 掩码下一 token 预测替代离散 RVQ 的量化损失，为音频语言模型提供新范式，ICML 2025。 Generative Audio Language Modeling with Continuous-valued Tokens
核心要点
- 连续值 token：替代传统的离散 RVQ token，避免量化带来的信息瓶颈
- 掩码下一 token 预测：类似 BERT 风格的自监督训练目标
- 新范式：为音频语言模型开辟了连续表示 + 掩码预测的新技术路线
- ICML 2025：顶会接收
详细笔记
动机
传统音频语言模型依赖 RVQ 将连续音频离散化为 token，但离散化不可避免地引入量化误差和信息损失。本文探索直接使用连续值 token 的可能性。
方法
- 连续值声学 token（不经过离散量化）
- 掩码下一 token 预测（Masked Next-Token Prediction）训练目标
- 在生成时直接从连续表示解码音频
意义
挑战了”音频必须先离散化才能用 LM 建模”的固有假设，为音频语言模型开辟了新范式。
引用与数据
- 发表：ICML 2025
- arXiv: 2507.09834
相关
- Wiki 目录
- LALM（大型音频语言模型） — 本文是其「连续 token」变体，绕过离散量化瓶颈
- 资料摘要：Siren
- 资料摘要：Khala
- 音频生成