资料摘要：LongCat-AudioDiT
非自回归扩散 TTS，直接在波形潜空间（Wav-VAE）上建模，绕过 mel-spectrogram 实现高保真零样本语音克隆，2026 年 3 月。 LongCat-AudioDiT - High-Fidelity Diffusion TTS
核心要点
- 波形潜空间建模：使用 Wav-VAE 直接在波形潜空间上做扩散，绕过传统 mel-spectrogram 中间表示
- 3.5B 参数 DiT：大规模 Diffusion Transformer 用于 TTS
- 零样本语音克隆 SOTA：Seed-ZH SIM 0.818，Seed-Hard SIM 0.797
- 非自回归：扩散生成，避免 AR 模型的误差累积
详细笔记
动机
传统 TTS 依赖 mel-spectrogram 作为中间表示，存在信息损失。LongCat-AudioDiT 直接在波形潜空间建模，减少信息瓶颈。
方法
- Wav-VAE：将波形压缩到潜空间
- 3.5B 参数 DiT 在潜空间上做扩散生成
- 非自回归生成，避免误差累积
关键结果
- 零样本语音克隆超越 Seed-TTS 等专用模型
- 中英文场景均表现优异
引用与数据
- 时间：2026.03
- arXiv: 2603.29339
- 规模：3.5B 参数