资料摘要：MCLP（角色扮演 TTS）
ICML 2026（StepFun + 中科院自动化所）针对**角色扮演 TTS（RP-TTS）的「风格一致性」**这一缺乏客观度量的痛点，提出 MCLP（Mean Continuation Log-Probability，平均续接对数概率）——借助预训练 大型音频语言模型（LALM）的上下文学习能力，用「以生成语音为上下文、预测真值语音 token 的平均对数概率」来量化风格一致性；再把 MCLP 作为 GRPO 强化学习奖励（与 CER 门控复合，防奖励黑客）优化 RP-TTS 模型。同时构建大规模 WenetSpeech-RP-TTS 数据集（~311k 场景）。arXiv 2601.22661（v2, 2026-05-27）。 Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability
核心要点
- 问题：风格一致性无客观指标。RP-TTS 要求生成语音的风格忠实匹配场景/角色描述，并在多轮对话中保持一致。但 CER、说话人相似度只衡量可懂度与音色，无法反映风格一致性；情绪分类奖励又只覆盖情绪、漏掉大量非情绪风格属性。SFT 不足以泛化。
- MCLP 指标：假设预训练 LALM 隐式编码了「音频风格的连续潜空间」。给定转写与候选生成音频，若风格一致，LALM 应对同一转写的真值音频 token赋予更高似然。MCLP 即定义为：以「转写 + 生成语音 + 重复转写」为上下文，真值音频 token 的平均对数概率——高分=风格连贯续接，低分=风格发散。提供平滑、稠密、可解释的信号。
- MCLP 作 RL 奖励：把 MCLP 当风格奖励 R_style（加偏置 C 移到正区间），与内容约束 R_content（CER×λ 惩罚）组成门控复合奖励——若 CER>τ 则奖励清零，杜绝「富有表现力的乱码」（reward hacking）。用 GRPO 联合优化风格遵循与内容准确。
- 数据集 WenetSpeech-RP-TTS：从 WenetSpeech（YouTube 短剧）经多阶段管线构建——Demucs 人声分离 → pyannote 说话人分离 → 场景切分 → Qwen-VL 生成环境描述 → DeepSeek-R1 推断角色画像。最终 ~311k 场景 / 1,435 小时，平均每场景 7.3 句、2.33 个说话人。
- 结果：在风格一致性 MOS 上达 3.576，大幅超越最强多轮 LALM 基线 MiMo-Audio-7B（2.484）与最强 Instruct-TTS 基线 OV-InstructTTS（2.864）；CER 双设定均最低（1.130%/1.625%）；CAM++/Emo2Vec/MCLP 客观指标均最优。消融证明：去 CER 奖励 → CER 飙到 >50%（奖励黑客）；去 MCLP 奖励 → 平淡不表现（MOS 跌到 2.331）。
- 意义：把抽象的「说话风格一致性」转化为基于 LALM 似然的可计算指标 + 可优化奖励，是「LALM 即评测器/奖励器」思路在表现力语音合成上的落地，与 DiffRO 同属 TTS 的奖励驱动后训练潮流。
MCLP GRPO 奖励循环.excalidraw
⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
指向原始笔记的链接
详细笔记
定位与动机
LLM 推动 TTS 从「可懂度 + 音质」迈向上下文感知的表现力语音，关键在两类控制：音色控制（零样本克隆，已较成熟）与风格控制（仍是难点）。Instruct-TTS 用自然语言提示控风格，但难应付多轮交互。与侧重语义对齐的「语音角色扮演 Agent」不同，RP-TTS 在给定回复文本（content-specified）下，专注让说话风格与角色扮演指令一致，并跨多轮保持连贯。瓶颈正是缺乏客观风格度量与有效奖励。
MCLP：用 LALM 似然度量风格
- 核心假设：预训练 LALM 在海量语音语料上隐式学到「音频风格的连续潜空间」。
- 定义：以评测/生成音频为上下文输入，计算真值（GT）音频 token 的平均对数概率作为风格连续性代理。风格一致 → GT token 续接似然高 → MCLP 高。
- 与人评对齐：在 32 名专家听者的相关性分析中，MCLP 与人类风格一致性判断吻合良好（论文图示），且与最终 MOS 排名一致。
RP-TTS 模型与复合奖励
- 基座：Step-Audio-2-mini-Base，7B 解码器-only LALM，统一序列处理交错的文本与音频 token（论文称 TA4 token）。
- 两阶段训练：① SFT——在结构化提示（场景描述 + 角色画像 + 对话历史）上微调，生成交错 TA4 token；② RL（GRPO）——从 SFT 检查点初始化 actor/reference，复合奖励优化。
- 门控复合奖励：
- 风格 R_style = MCLP(z_roll, z_gt) + C（C=15.0 移正）；
- 内容 R_content = λ·CER(ŵ, w)（λ=10.0；用 token2wav + ASR 把生成音频转回文本算 CER）；
- 门控：若 CER>τ（τ=0.2）则 R=0，否则 R = R_style − R_content。形成「先满足可懂度、再优化风格」的课程式约束，防止 reward hacking。
- GRPO 设置：1000 步，G=8，温度 1.0，KL β=0.001，batch 128，32×H800。
数据集构建（WenetSpeech-RP-TTS）
源自 WenetSpeech 的「YouTube + drama」子集（17,253 条 → 8,556 有效视频）。DeepSeek-R1 推断剧名/集数；Demucs 分离人声；pyannote 说话人分离；按 >5s 静音切场景（≤30s）；Qwen-VL-7B 生成物理环境与氛围描述；DeepSeek-R1 据全剧对话推断角色画像。最终 ~311k 场景 / 1,435 小时；测试集按视频级切分（200 视频留出），分层采样 900 场景（2–10 轮各 100）；RL 子集再过滤（2–6 轮、末句 >10 字、非中性风格）得 16,186 场景。
关键结果
| 设定 | 方法 | CER%↓ | CAM++↑ | Emo2Vec↑ | MCLP↑ | 风格 MOS↑ |
|---|---|---|---|---|---|---|
| — | Ground Truth | — | — | — | — | 4.461 |
| 多轮 LALM | MiMo-Audio-7B | 10.6 | 0.699 | 0.902 | −4.753 | 2.484 |
| 多轮 LALM | Step-Audio-2-mini | 3.28 | 0.629 | 0.864 | −4.829 | 1.856 |
| Instruct-TTS | OV-InstructTTS | 7.19 | 0.669 | 0.900 | −4.768 | 2.864 |
| Instruct-TTS | CosyVoice3 | 4.64 | 0.651 | 0.905 | −4.782 | 2.350 |
| 本文 | SFT + GRPO | 1.13 | 0.724 | 0.917 | −4.636 | 3.576 |
- 消融：仅 SFT → MOS 3.178；+GRPO → 3.576（CER 也降）。去 CER 奖励 → MCLP 最高（−4.590）但 CER>50%、出现句尾重复声学模式（典型奖励黑客）；去 MCLP 奖励 → CER 最低（0.783%）但风格平淡、MOS 仅 2.331。证明复合奖励缺一不可。
- 音频历史增益：本文模型 MCLP 从无历史 −4.687 提升到有历史 −4.636，说明能利用历史声学线索维持对话级风格连贯，而基线难从音频历史获益。
局限
- 数据与主评测仅普通话（英语泛化为初步结果）；
- 仅覆盖短剧领域，有声书/游戏/助手等待验证；
- 场景与角色描述由 LLM 自动生成，可能引入标注噪声/偏差。
引用与数据
- 标题：Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability
- 作者：Yong Ren, Jingbei Li, Haiyang Sun, Yujie Chen, Cheng Yi, Yechang Huang, Hao Gu, Ye Bai, Xuerui Yang（中科院自动化所/UCAS · StepFun · 北航）
- 发表：ICML 2026（PMLR 306，首尔）· arXiv: 2601.22661 [cs.SD]（v2, 2026-05-27）
- 代码：y-ren16/MCLP · 项目页 mclp-tts.github.io
- 数据集：WenetSpeech-RP-TTS（~311k 场景 / 1,435h）
- 基座模型：Step-Audio-2-mini-Base（7B LALM）；奖励参数 C=15.0, λ=10.0, τ=0.2；RL：GRPO，32×H800
- 评测：CER / CAM++ / Emo2Vec / MCLP + 50 人风格一致性 MOS；基线含 GPT-Audio、MiMo-Audio-7B、CosyVoice3、Higgs Audio V2、OV-InstructTTS、Qwen3TTS
相关
- Wiki 目录
- GRPO（组相对策略优化） — 本文 RL 奖励优化算法
- DiffRO（可微奖励优化） — 同属 TTS 奖励驱动后训练（CosyVoice 3）
- RLHF（人类反馈强化学习） · DPO（直接偏好优化） · PPO（近端策略优化） — 对齐方法谱系
- 资料摘要：CosyVoice 3 — 被本文列为 Instruct-TTS 基线
- 资料摘要：MOSS-TTS — 同走离散 token + AR 的语音基础模型路线
- LALM（大型音频语言模型） — MCLP 即用预训练 LALM 的似然做风格指标
- 多模态 LLM — LALM（大型音频语言模型）属其分支