资料摘要：DiffRhythm
西北工业大学 & 港中深提出的首个潜空间扩散全曲生成模型，10秒内生成长达 4 分 45 秒的完整歌曲（人声+伴奏），彻底绕开级联架构。 DiffRhythm - Blazingly Fast and Embarrassingly Simple End-to-End Full-Length Song Generation with Latent Diffusion
核心要点
- 首个潜空间扩散全曲模型：人声+伴奏端到端同时合成，无需多阶段级联
- 极速推理：非自回归架构，~10 秒生成最长 4m45s 的完整歌曲
- 极简输入：推理仅需歌词（lyrics）+ 风格提示（style prompt）
- 拟简单设计：论文标题自称 “Embarrassingly Simple”，消除复杂数据准备
- 完全开源：训练代码 + 大规模数据预训练模型全部公开
- 非自回归：消除 LM 路线逐 token 生成的推理瓶颈
详细笔记
动机
现有音乐生成模型存在三大问题：
- 人声/伴奏分离生成（非完整歌曲）
- 精心设计的多阶段级联架构（复杂度高）
- 仅生成短片段（非全曲）
- LM 路线推理慢
DiffRhythm 一次性解决全部问题。
方法
- Latent Diffusion Model (LDM)：在潜空间中进行扩散，而非语言模型自回归
- 端到端架构：单次扩散过程同时生成人声和伴奏
- 非自回归生成：一次性去噪得到完整歌曲，无逐 token 生成瓶颈
- 条件输入：歌词文本 + 风格提示，无需复杂数据流水线
关键贡献
- 推理速度比 LM 路线快数个数量级
- 完整歌曲（最长 4m45s）保持高音乐性和可懂度
- 极简模型结构，消除大量工程复杂度
- 后续推出 DiffRhythm 2（Block Flow Matching 替代扩散）
局限性
- 依赖大规模训练数据，论文未详细讨论小数据场景表现
- 风格提示的具体控制粒度待深入评估
引用与数据
- 发表：2025.03（arXiv preprint）
- 机构：西北工业大学 & 香港中文大学（深圳）ASLP Lab
- 作者：Ziqian Ning, Huakang Chen, Yuepeng Jiang, Chunbo Hao, Guobin Ma, Shuai Wang, Jixun Yao, Lei Xie
- arXiv: 2503.01183
- 代码：github.com/ASLP-lab/DiffRhythm
- Demo：Hugging Face Space