VoxCPM 是清华大学 OpenBMB 和 THUHCSI 联合推出的 Tokenizer-Free TTS 系统，采用扩散自回归架构直接生成连续语音表示。最新版 VoxCPM2 拥有 2B 参数、支持 30 种语言、48kHz 音频输出和语音设计能力。
概述
VoxCPM 是一个完全开源的文本转语音系统，由清华大学（ModelBest、THUHCSI）团队开发。核心创新在于放弃离散语音 tokenizer，通过可微分量化瓶颈在连续空间中实现分层语义-声学建模，兼顾表达的丰富性和合成的稳定性。
项目已累计获得 GitHub Trending #1（VoxCPM1.5 / 2025.12）和 HuggingFace Trending #1（VoxCPM-0.5B / 2025.09）。
关键贡献 / 特性
- Tokenizer-Free 范式 — 端到端扩散自回归架构，无需外部语音 tokenizer，消除语义-声学鸿沟
- 四阶段流水线 — LocEnc → TSLM → RALM → LocDiT，简单扩散目标下端到端训练
- 30 语言多语种 — 无需语言标签，自动识别输入语言并合成，含 9 种中文方言
- Voice Design（语音设计） — 仅凭自然语言描述创造全新声音，无需参考音频
- Controllable Cloning（可控克隆） — 克隆音色的同时通过文本控制情感、语速和风格
- 48kHz 高品质输出 — AudioVAE V2 非对称编解码设计，自带超分辨率
- 实时流式生成 — RTX 4090 上 RTF ~0.3，配合 Nano-vLLM 可达 ~0.13
- 完全开源可商用 — Apache-2.0 许可，支持 SFT 和 LoRA 微调
- 生产级部署 — 原生支持 vLLM-Omni（OpenAI 兼容 API）和 Nano-vLLM（高性能推理）
时间线
| 日期 | 事件 |
|---|---|
| 2025.09 | 发布 VoxCPM-0.5B 权重和技术报告（arXiv:2509.24650） |
| 2025.09 | HuggingFace Trending #1 |
| 2025.12 | 发布 VoxCPM1.5，支持 SFT & LoRA 微调，GitHub Trending #1 |
| 2026.04 | 发布 VoxCPM2：2B 参数、30 语言、Voice Design、48kHz |
| 2026 | VoxCPM 技术报告被 ICLR 2026 接收 |
生态系统
| 项目 | 说明 |
|---|---|
| Nano-vLLM | 高性能 GPU 推理引擎 |
| vLLM-Omni | 官方 vLLM 多模态服务 |
| VoxCPM.cpp | GGML/GGUF CPU/CUDA/Vulkan 推理 |
| VoxCPM-ONNX | ONNX CPU 推理 |
| VoxCPMANE | Apple Neural Engine 后端 |
| voxcpm_rs | Rust 语言重实现 |
| ComfyUI-VoxCPM | ComfyUI 节点工作流 |
VoxCPM2 架构图
VoxCPM2 架构图.excalidraw
⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
指向原始笔记的链接