⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
MusicGen 架构与 Codebook 交错模式
单阶段 Transformer LM：EnCodec RVQ → 交错多流 token → 一个解码器 → 32kHz 音乐（去级联）
参考音频 X（32kHz 单声道/立体声）
EnCodec 编码器 + RVQ 50Hz 帧率 · 4 码本 × 2048
K=4 并行 token 流
Codebook 交错（Delay Pattern） 30s → 1500 自回归步
Transformer 解码器（单阶段） 300M / 1.5B / 3.3B 因果自注意力 + 交叉注意力 每码本独立 logits 头
EnCodec 解码器（token → 波形）
生成音乐（32kHz，主观 OVL 84.8）
条件（可控性）
文本条件：T5 编码器 （也试 FLAN-T5 / CLAP）
旋律条件：Chromagram argmax 主频瓶颈（无监督）
→ 交叉注意力（文本）/ 前缀（旋律） CFG：训练丢条件 0.2 · 推理引导 3.0
Codebook 交错模式对比（消融 30s）
Parallel · 1500 步 · FAD 2.58（最差）
Delay · 1500 步 · FAD 0.96 ★ 采用
Partial flatten · 3000 步 · FAD 1.32
Flatten · 6000 步 · FAD 0.86（最佳/4×成本）
延迟模式：以极小代价逼近 扁平化的最佳质量（1/4 序列长度）
规模：客观指标随 300M→3.3B 持续↑ 主观质量 1.5B 见顶，3.3B 更贴合文本
立体声：L/R 各 4 码本 = 8 从单声道微调 200K 步，零额外算力
训练：20K 小时授权音乐 · AdamW 1M 步 · top-k 250 温度 1.0 | 主观 OVL 84.8（3.3B）> MusicLM 80.5 | Meta AI · NeurIPS 2023 · arXiv 2306.05284