资料摘要：UniMoE-Audio
哈工大 + 微信 AI 提出 Dynamic-Capacity MoE 框架——通过 Top-P 动态路由、三类专家（路由/共享/空专家）和三阶段课程训练，首次在单一 7.1B 模型中统一语音合成与音乐生成，避免了联合训练的性能退化，在多项基准上达到 SOTA。 UniMoE-Audio - Unified Speech and Music Generation with Dynamic-Capacity MoE
核心要点
- Dynamic-Capacity MoE：用 Top-P 路由替代传统 Top-K，每个 token 动态激活不同数量的专家（p=0.7，激活数 1-6），按 token 复杂度弹性分配计算
- 三类专家设计：8 个路由专家（领域专精）+ 2 个共享专家（跨域共性）+ 1 个空专家（跳过计算），空专家在深层对 TTS token 大量剪枝
- 三阶段训练：独立专家训练 → MoE 集成预热 → 协同联合训练，逐阶段解决数据不平衡和任务冲突
- 显著数据效率：仅用 ~30k 小时语音 + ~10k 小时音乐，在多项基准上超越训练数据量级大 2-3 个数量级的专用模型（Higgs 10M 小时、Step-audio 8M 小时）
- 统一优于专用：UniMoE-Audio 的统一模型在语音 WER 和音乐质量上均超越同规模的 Unify-Baseline 密集模型，且无联合训练退化
详细笔记
1. 问题动机
语音和音乐生成长期各自独立发展，统一建模面临两大核心障碍：
- 任务冲突（Task Conflict）：语音需要精确的局部时间对齐（音素→声学帧），音乐侧重全局语义与结构连贯性，两者优化方向不同
- 数据失衡（Data Imbalance）：语音数据量远超音乐（~30k vs ~10k 小时），直接联合训练会导致音乐生成被语音优化”淹没”
此前 Unify-Baseline（7.1B 密集模型）直接联合训练的结果：中文 TTS “尚可”，但音乐生成”严重受损”（severely compromised）。
2. 模型架构
Backbone：基于 Qwen2.5VL，~32 层 Transformer
音频 Tokenizer：DAC（descript-audio-codec），多通道 codebook 每帧编码
视觉编码：ViT 编码器 + 投影器（用于 V2M 视频到音乐任务）
参数规模：
| 配置 | 激活参数 | 总参数 |
|---|---|---|
| 独立专家（×4） | 3.1B | 3.1B |
| Unify-Baseline | 7.1B | 7.1B |
| UniMoE-Audio | 4.8B（avg） | 7.1B |
激活参数动态范围：最小 2.8B，最大 5.9B
UniMoE-Audio Dynamic-Capacity MoE 架构.excalidraw
⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
指向原始笔记的链接
3. Dynamic-Capacity MoE（核心创新）
Top-P 路由
传统 Top-K 固定激活 K 个专家，UniMoE-Audio 改用 Top-P 动态分配：
P = Softmax(X × W_g) # 门控概率分布
I = argmin|I'| s.t. ΣP_i ≥ p # 选累计概率≥p 的最小子集
O = Σ (P_i / ΣP_j) × E_i(X) # 归一化加权输出
- p = 0.7：每个 token 激活 1-6 个专家（vs Top-2 固定 2 个）
- 高信息量 token（如音乐谐波密集帧）激活更多专家，简单 token（如静音帧）激活更少
三类专家
| 类型 | 数量 | 作用 | 特点 |
|---|---|---|---|
| 路由专家 | 8 | 领域专精（E1-4 语音，E5-8 音乐） | 由 4 个 proto-expert FFN 各切一半初始化 |
| 共享专家 | 2 | 跨域共性特征（声学基元、频率表示） | 所有 token 始终激活 |
| 空专家 | 1 | 跳过计算，输出零张量 | 无参数；深层大量剪枝 TTS token |
专家并行：4 路专家并行，每 GPU 仅加载 2 个路由专家
专家专精模式
- 浅层（0-3）：1-3 个专家激活，提取低级声学特征
- 中层（4-13）：4-5 个专家激活，第 12 层达到峰值——复杂抽象层
- 深层（14-29）：激活预算递减，输出整合阶段
- 空专家行为：在 25-32 层大量选中 TTS token——模型判断语音在深层已无需额外计算
4. 三阶段训练课程
| 阶段 | 内容 | 数据 | 硬件 | 关键配置 |
|---|---|---|---|---|
| Stage 1 独立专家训练 | 4 个独立 3.1B 密集模型各自训练 | 全量非平衡原始数据 | 48×Ascend 910B | lr=1e-4, batch=48, AdamW+cosine |
| Stage 2 MoE 集成预热 | 专家 FFN 切半→8 专家，共享组件取均值初始化；冻结专家，仅训门控+共享专家 | 仅平衡数据（60k 样本） | 196×Ascend 910B | lr=3e-5, batch=784 |
| Stage 3 协同联合训练 | 全模型端到端训练 + 负载均衡 loss（线性退火） | 扩大的平衡数据集 | 196×Ascend 910B | lr=1e-5, batch=3136 |
负载均衡策略：辅助 loss 权重从高到低线性退火——早期强制均匀分配建立基础，后期让模型自主优化路由。
5. 训练数据
| 任务 | 数据集 | 样本量 | 时长 |
|---|---|---|---|
| 中文 TTS | ZhTTS | 180K | 20K 小时 |
| 英文 TTS | EnTTS | 100K | 10K 小时 |
| 文本→音乐 | Free-music-archive, MusicNet, MU2Gen | ~128K | ~9.4K 小时 |
| 视频→音乐 | V2M | 20K | 600 小时 |
数据经自动标注、多指标过滤、去重管道处理。
6. 实验结果
语音合成
SeedTTS-EN：
| 方法 | WER↓ | UTMOS↑ | SIM↑ |
|---|---|---|---|
| Higgs audio V2 | 1.0 | 4.00 | 0.67 |
| Step-audio 2 mini | 1.6 | 4.22 | 0.47 |
| UniMoE-Audio | 1.9 | 4.36 | 0.56 |
SeedTTS-ZH：
| 方法 | CER↓ | UTMOS↑ | SIM↑ |
|---|---|---|---|
| Higgs audio V2 | 0.8 | 3.27 | 0.73 |
| UniMoE-Audio | 0.8 | 3.73 | 0.65 |
LibriSpeech：WER 4.4（Unify-Baseline 为 10.8）
AISHELL-3：CER 1.6（所有方法最优）
音乐生成
MusicCaps（T2M）：
| 方法 | PC↑ | PQ↑ | CE↑ | FAD↓ |
|---|---|---|---|---|
| AudioX | 5.00 | 6.67 | 6.14 | 1.64 |
| MUMU-LLAMA | 5.15 | 7.71 | 6.87 | 8.57 |
| UniMoE-Audio | 6.00 | 7.77 | 7.34 | 6.43 |
- 主观质量指标（PC/PQ/CE）全面领先，说明人听感最佳
- FAD 不及 AudioX（DiT 扩散路线在分布匹配上仍有优势）
- CLAP 0.29（仅次于 Stable Audio Open 的 0.30），CLaMP3 0.12（并列最优）
V2M-bench（T2M + V2M）：UniMoE-Audio 在两个子任务上均最优或接近最优
关键对比
- UniMoE-Audio 仅用 ~30k 小时语音数据，Higgs V2 用 10M 小时——数据效率高 300×
- 统一模型超越同规模密集模型（Unify-Baseline），验证了 MoE 架构对任务冲突的缓解能力
- V2M 仅占训练数据 5%，但仍表现稳健
7. 与其他统一音频模型对比
| 维度 | UniMoE-Audio | UniSonate | AudioCALM | AudioX |
|---|---|---|---|---|
| 模态 | 语音+音乐 | 语音+音乐+音效 | 语音+音效+音乐 | 通用 anything-to-audio |
| 架构 | Dynamic-Capacity MoE | MM-DiT (Flow Matching) | CALM (AR+Flow) | DiT (Flow Matching) |
| 参数量 | 7.1B (4.8B active) | 1.34B | 1.7B (Qwen3) | ~1B |
| 统一策略 | Top-P 路由 + 三类专家 | 课程学习 + Dynamic Token Injection | A-MoME + 描述式条件 | 条件编码统一 |
| 核心创新 | 动态容量分配 | 正向迁移 | 连续 AR 语言建模 | 通用条件框架 |
| 训练数据 | ~40k 小时 | ~70k 小时 + 1.5M SFX | LibriTTS+EMILIA+FMA 等 | 大规模多源 |
| 语音 CER/WER | 最优档（ZH CER 0.8） | 优秀（EN WER 1.47） | SOTA（LibriTTS WER 0.020） | N/A |
| 音乐 FAD | 6.43 (MusicCaps) | N/A | 2.02 (Song-Describer) | 1.64 (MusicCaps) |
引用与数据
- 机构：哈尔滨工业大学 + 微信 AI（WeChat AI）
- 发表：arXiv 2510.13344，2025 年 10 月
- 许可：CC BY 4.0
- 项目页：https://mukioxun.github.io/Uni-MoE-site/home.html
- 训练硬件：华为 Ascend 910B（48-196 卡）
- 基线对比：UniAudio, Mini-CPM-O-2.6, Qwen2.5-Omni, Step-audio, Higgs audio V2, MiMo, YuE, Stable Audio Open, AudioX, MusicGen, MUMU-LLAMA
关键洞察
- 动态容量 > 固定容量：Top-P 路由让简单 token 省计算、复杂 token 加预算——在高保真音乐帧上激活 5-6 个专家，静音帧仅 1 个
- 空专家是 MoE 的”反直觉升级”：深层大量剪枝 TTS token 说明模型学到了一类任务在表示层面已”足够好”，无需继续计算——这是固定 Top-K 无法实现的
- 课程训练是统一模型的关键：先独立训练专家再联合微调，避免了一开始就将冲突模态塞入同一优化的”优化坑”
- MoE 是缓解模态冲突的通用解：与 AudioCALM 的 A-MoME（确定性模态路由）不同，UniMoE-Audio 用学习式动态路由达到了类似效果——两者互补验证了 MoE 在统一音频生成中的核心地位
- 数据效率惊人：用相比竞品小 300× 的数据量取得可比甚至更优的结果，暗示 MoE 架构本身具有数据利用率的优势
相关
- 音频生成 — 音频生成领域导航
- 音频生成 — 概念页
- MoE（混合专家） — MoE 架构概念
- 资料摘要：UniSonate — 另一统一语音+音乐+音效框架
- 资料摘要：AudioCALM — CALM 范式 + A-MoME
- 资料摘要：AudioX — DiT 统一音频生成
- Wiki 目录