LLM Wiki

LALM（大型音频语言模型）

7分钟阅读

LALM（大型音频语言模型）

把音频（语音/声音/音乐）离散化或表示为 token 序列、用自回归语言模型统一建模理解与生成的大模型；将「文本 tokenizer + LLM」范式迁移到音频，使压缩、理解、生成、上下文学习在单一序列建模框架内涌现。

是什么

LALM（Large Audio Language Model，又称 Audio LLM / 音频语言模型）是把音频纳入离散 token 自回归建模框架的大模型。其核心思路与文本 LLM 一致：用一个 audio tokenizer 把连续波形转为离散 token 序列（充当「原生接口」），再用 decoder-only Transformer 做 next-token prediction，从而把语音/音频的理解（ASR、字幕）与生成（TTS、音效、音乐）统一为「token 预测」单一目标。

代表系统：GPT-Audio、Step-Audio-2、MiMo-Audio、MOSS-TTS、Qwen-Omni 等。

为什么重要

  1. 统一接口、统一目标：一个离散 tokenizer + 一个 AR 目标即可覆盖压缩/理解/生成，无需为不同任务设专用模块，便于扩展数据、算力与下游能力（MOSS-TTS 的核心论点）。
  2. 复刻 LLM 的 scaling 红利：模型容量与数据规模扩大可解锁超越窄基准的涌现能力，TTS/音频生成因此走上「基础模型」轨迹。
  3. 上下文学习（ICL）能力可复用：预训练 LALM 隐式编码了音频风格/语义的连续潜空间，可直接用其似然做评测或奖励——MCLP 即用 LALM 对真值音频 token 的续接对数概率量化风格一致性。
  4. 多轮、流式、可控：序列建模天然支持多轮对话历史、流式低延迟与 token 级控制（时长、发音、风格）。

工作原理

波形 ──[audio tokenizer]──▶ 离散 token 序列 ──[decoder-only Transformer]──▶ 预测下一 token ──[解码器]──▶ 波形/文本

三个关键环节：

  1. 音频 tokenizer（原生接口）：把波形压成低帧率离散 token，需兼顾声学保真与语义结构。路线有：
  2. 自回归骨干：decoder-only Transformer 做 next-token prediction。多层 RVQ 的建模模式是工程关键——Delay Pattern（单骨干多头）、Temporal+Depth Transformer、Local Transformer 等（见 MOSS-TTS 两架构对比）。
  3. 解码 / 控制：tokenizer 解码器还原波形；通过 prompt、任务标签、token 级条件实现克隆/时长/发音/风格控制；常配 RL 后训练（GRPO + MCLP 奖励、DiffRO）。

历史与演进

  • 2022–2023：AudioLM、VALL-E 证明在离散 codec token 上自回归即可零样本 TTS；AudioGen/MusicGen 把声音/音乐做成 token 序列建模。
  • 2024：codec language model 路线成熟，多说话人、流式、可控逐步落地；与扩散/流匹配路线并行竞争。
  • 2025：连续值 token（ICML 2025）尝试绕过离散量化瓶颈；LM 路线在音频生成上重新逼近/超越扩散（Siren、Plan-Critic）。
  • 2026：tokenizer 与建模栈走向端到端、可扩展——MOSS-Audio-Tokenizer（纯 Transformer、1.6B、3M 小时）+ MOSS-TTS（离散+AR+大规模预训练）；并出现「LALM 即评测器/奖励器」的新用法（MCLP）；Bagpiper（CMU+LY+NVIDIA）进一步把理解与生成一体化推向「语义层统一」——用丰富字幕作认知概念代理，让 LALM 在字幕/文本空间做推理，再双向映射回音频。
  • 理解分支的两条代表路线（2025–2026）：Qwen2.5-Omni（阿里，全模态感知 + 流式语音输出，Thinker-Talker 双脑，闭源数据）与 Audio Flamingo 3（NVIDIA+UMD，完全开源、AF-Whisper 单编码器统一语音/声音/音乐、on-demand thinking、长音频≤10min）——同以 Qwen2.5-7B 为骨干，分别代表工业全模态与开源纯音频理解方向。

与相邻概念的区别

概念关系
多模态 LLMLALM 是其音频分支；多模态 LLM 泛指文本+图像+音频+视频，LALM 专注音频模态的离散序列建模
扩散 / 流匹配 音频生成并行的另一大路线（连续潜空间迭代去噪）；LALM 走离散 token 自回归。两者在音频生成上长期竞争与融合
DiT（Diffusion Transformer）扩散路线的骨干；LALM 的骨干是 decoder-only AR Transformer
audio tokenizer（S³/RVQ/FSQ）是 LALM 的前置组件（原生接口），非 LALM 本身

常见误解

  • 「LALM = TTS」：TTS 只是 LALM 的一个生成任务；LALM 同样涵盖 ASR、音频理解、音效/音乐生成、语音对话。
  • 「LALM 一定离散」：主流是离散 token，但连续值 token LALM（ICML 2025）证明可绕过量化瓶颈。
  • 「扩散一定优于 LALM」：两条路线各有所长，2025–2026 LM 路线在指令遵循/时间一致性上重新具备竞争力。

相关

关系图谱

反向链接