资料摘要：Siren
LM-based 文本到音频生成方法，通过反因果对齐和强化学习首次超越 Diffusion 模型，EMNLP 2025。 Siren - Language Model Based Text-to-Audio Generation
核心要点
- LM 路线反超 Diffusion：基于语言模型的 T2A 首次在性能上超越扩散模型，重新定位了 LM 在音频生成领域的竞争力
- 抗因果对齐（Anti-Causal Alignment）：用 RL 解决 RVQ 跨层特征正交和深层曝光偏差问题
- 多个独立 Transformer：为 RVQ 的各层分别建模，避免传统 RVQ 的层级依赖问题
- 新 SOTA：超越所有现有 LM-based 和 Diffusion-based T2A 模型
详细笔记
动机
传统 LM-based 音频生成使用 RVQ tokenizer 将音频离散化为多层 token，但存在两个关键问题：
- 各层特征不完全正交
- 深层 token 存在曝光偏差（exposure bias）
方法
- 使用多个隔离的 Transformer 分别处理不同 RVQ 层
- 通过 RL-based 反因果对齐训练策略对齐各层表示
- 因果条件 + 反因果对齐的组合训练
关键结果
- 全面超越 LM-based 和 Diffusion-based 基线
- 证明 LM 架构在音频生成上的潜力被低估
引用与数据
- 发表：EMNLP 2025
- arXiv: 2510.04577
- 代码：github.com/wjc2830/Siren.git