资料摘要：MOSS-SoundEffect v2
复旦 OpenMOSS 团队（MOSI.AI）开源的文本到音效（TTA）模型，是 MOSS-TTS 家族的”声音设计层”。v2.0 用 DiT 扩散骨干 + Flow Matching 目标（搭配 DAC VAE 与 Qwen3 文本编码器）重构了 v1 的离散 token 自回归（MossTTSDelay）架构，面向更高保真和更自然的长音频环境声，支持中/英双语、48kHz 输出。模型权重托管于 HuggingFace（
OpenMOSS-Team/MOSS-SoundEffect-v2.0，Apache-2.0），arXiv 论文待发布。 MOSS-SoundEffect v2 README
核心要点
- 范式切换：v1 =
MossTTSDelay离散 RVQ token 自回归（8B 参数）→ v2 = DiT + Flow Matching 连续潜空间扩散，与 CosyVoice 3（CFM→DiT）、UniSonate（MM-DiT）、LongCat-AudioDiT 等”扩散/流匹配回潮”同向 - 三件套架构：DiT 生成骨干（Flow Matching）+ DAC VAE（音频自编码器，提供潜空间）+ Qwen3 文本编码器（提示词 → 条件表示）
- 推理配置：默认
num_inference_steps=100、cfg_scale=4.0、bfloat16；时长由seconds参数控制；DiT 以torch.compile+ Triton CUDA Graph 加速 - 能力定位：自然环境声、城市声景、动物/生物声、人类动作声，以及氛围声、类音乐片段、影视/游戏 SFX 与合成数据生成
- 家族协同：作为 MOSS-TTS 家族的声音设计层，与 MOSS-TTS / MOSS-TTSD / MOSS-VoiceGenerator / MOSS-TTS-Realtime 等语音模型互补
- 开源生产级：Apache-2.0，提供 Gradio Demo、CLI 与全参数 DiT 微调脚本；暂无公开基准评测数据（arXiv “Coming soon”）
MOSS-SoundEffect v2 架构图.excalidraw
⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
指向原始笔记的链接
详细笔记
定位与动机
MOSS-SoundEffect 是 MOSS-TTS 家族中专责环境声与音效生成的成员，由复旦 OpenMOSS 团队与 MOSI.AI 维护。它直接从文本描述生成氛围声景和具体音效，用于为语音内容补足沉浸式上下文——即为叙事内容、影视、纪录片、游戏、播客完成”场景沉浸”，也为需要环境上下文（而不只是语音）的语音智能体与交互系统提供”声音设计层”。
设计目标有二：
- 覆盖度与丰富度：广泛的声音分类法，分层氛围 + 真实纹理
- 可组合性：易于接入创作流水线（游戏/影视/工具）与合成数据生成
v2.0 架构：DiT + Flow Matching
官方将 v2.0 描述为”a text-to-audio model with a Diffusion Transformer (DiT) backbone trained with the Flow Matching objective, paired with a DAC VAE and a Qwen3 text encoder”。流水线由三个核心组件构成：
| 组件 | 角色 |
|---|---|
| DiT（Diffusion Transformer） | 生成骨干，以 Flow Matching 目标训练，在潜空间中从高斯噪声迭代去噪 |
| DAC VAE | 音频变分自编码器，提供波形的编码/解码与潜空间表示 |
| Qwen3 文本编码器 | 将文本提示编码为条件表示，注入 DiT |
数据流：文本提示 → Qwen3 编码 → DiT 在 DAC 潜空间迭代去噪（条件 + CFG）→ DAC VAE 解码 → 波形 (B, C, T)。
管线类 MossSoundEffectPipeline.from_pretrained() 加载；微调时 VAE / 文本编码器 / tokenizer / scheduler 为冻结子模块。
推理参数（来自官方示例）：
| 参数 | 值 |
|---|---|
torch_dtype | torch.bfloat16 |
seconds（时长） | 示例 10，可控 |
num_inference_steps | 100 |
cfg_scale | 4.0 |
| 输出 | (B, C, T) 波形张量 |
工程细节：底层 DiT 用 torch.compile + Triton CUDA Graph 封装加速，首次调用需编译数分钟；遇到 TorchDynamo/Triton 编译错误可设 TORCHDYNAMO_DISABLE=1。运行环境需独立隔离：Python 3.12、numpy==1.26、transformers==4.57、torch==2.9（cu128），与顶层 MOSS-TTS 环境不兼容。
微调：支持从现有 HF 目录做全参数 DiT 微调；元数据为 JSONL，每行两个字段 audio（相对路径）与 prompt（中/英文 caption）。导出微调 checkpoint 时冻结子模块原样复制，无需重新下载 Qwen3 或 DAC VAE。
v1.0 架构：MossTTSDelay（对比基线）
v1.0 是首个版本，沿用 MOSS-TTS 家族共享的 MossTTSDelay 离散 token 自回归骨干：文本提示（可带 duration 等简单控制标签）经 tokenize 后送入延迟模式（Delay-pattern）自回归模型，逐步预测 RVQ 音频 token，再由音频 tokenizer/vocoder 解码为高保真音效。
| 维度 | v1.0 模型卡数据 |
|---|---|
| 架构 | MossTTSDelay，延迟模式自回归预测 RVQ token |
| 参数量 | 8B |
| token 率 | 1s ≈ 12.5 token（示例 max_new_tokens=4096 ≈ 327 秒） |
| 推荐解码 | temperature=1.5、top_p=0.6、top_k=50、repetition_penalty=1.2 |
| 张量类型 | BF16；可选 FlashAttention 2（算力 ≥ 8.0） |
| 许可 | Apache-2.0 |
v1 vs v2 对比
| 维度 | v1.0 | v2.0 |
|---|---|---|
| 生成范式 | 离散 token 自回归 | 连续潜空间扩散 |
| 骨干 | MossTTSDelay（延迟模式 AR） | DiT |
| 训练目标 | 下一 token 预测 | Flow Matching |
| 音频表示 | RVQ token + vocoder | DAC VAE 潜空间 |
| 文本条件 | 家族共享 tokenizer | Qwen3 文本编码器 |
| 目标改进 | — | 更高保真、更自然的长音频环境声 |
能力范围
模型从文本描述生成环境声与动作声，示例覆盖：
- 自然环境：“fresh snow crunching under footsteps”（积雪在脚下嘎吱作响）
- 城市环境：“a sports car roaring past on the highway”（跑车在高速上呼啸而过）
- 动物/生物：“early morning park with birds chirping”（清晨公园鸟鸣）
- 人类动作：“clear footsteps echoing on concrete”（水泥地上清晰的脚步回响）
- 另涵盖氛围声、类音乐片段、影视/游戏 SFX 与合成数据生成
中/英双语提示均支持（如 雷声隆隆，雨声淅沥。 与英文 caption）。
在音频生成版图中的意义
MOSS-SoundEffect v2 的 v1→v2 演进，是当前音频/语音生成领域**“从离散 token 语言模型回归连续潜空间扩散/流匹配”**这一趋势的又一例证：
- CosyVoice 3 将 CFM 骨干升级为 DiT
- UniSonate 用 MM-DiT + 条件流匹配统一 TTS/TTM/TTA
- LongCat-AudioDiT 用波形潜空间 DiT 做零样本语音克隆
- GenAU 在环境音生成上用 FIT 扩散骨干替代 UNet/DiT
MOSS-SoundEffect 的差异点在于：它是开源、生产级、双语的专用音效模型，并显式作为多模型 TTS 家族的声音设计层定位，而非通用统一模型。
局限与存疑
- 无公开评测：模型卡标注 “Arxiv — Coming soon”，暂无 FAD/FD/CLAP 等基准对比
- v2 参数量未披露：8B 为 v1 数据；v2 参数量官方未公开
- 部分规格来自发布说明：48kHz 采样率、最长约 30 秒、2026-05-26 发布日期等来自发布公告/二级来源，官方模型卡与 README 未逐字载明（采样率在代码中通过
processor.model_config.sampling_rate读取，未给出具体 Hz）。本页据此标confidence: medium
引用与数据
- 机构：复旦大学 OpenMOSS 团队 / MOSI.AI
- 模型家族：MOSS-TTS Family（语音 + 声音生成开源模型族）
- 代码：OpenMOSS/MOSS-TTS（v2 README · v1 模型卡）
- 权重：OpenMOSS-Team/MOSS-SoundEffect-v2.0（v2）· OpenMOSS-Team/MOSS-SoundEffect（v1，8B）
- 许可：Apache-2.0
- arXiv：待发布（Coming soon） （v2 README + v1 模型卡）
相关
- Wiki 目录
- 音频生成
- 音频生成
- 资料摘要：MOSS-TTS — 同属 OpenMOSS MOSS-TTS 家族（语音生成基础模型）
- 资料摘要：MOSS-Audio-Tokenizer — 同家族的离散音频 tokenizer
- DiT（Diffusion Transformer）
- 条件流匹配（CFM）
- 资料摘要：UniSonate
- 资料摘要：LongCat-AudioDiT
- 资料摘要：CosyVoice 3
- 资料摘要：GenAU