LLM Wiki

GRPO（组相对策略优化）

5分钟阅读

GRPO（组相对策略优化）

一种去掉 Critic（价值网络）的 PPO 变体：对同一提示采样一组输出，用组内奖励的相对分数（归一化）作为优势估计，省去与策略同等大小的价值模型，大幅降低 RL 对齐成本。

是什么

GRPO（Group Relative Policy Optimization）由 DeepSeek（Shao et al., 2024）提出，是 PPO 的简化变体。PPO 需要一个与策略模型同等规模的 Critic/价值网络来估计优势函数（advantage），训练与显存开销大。GRPO 的关键洞察：既然奖励是对整条输出打分，可以对同一个提示采样一组（G 个）输出，用这组输出奖励的相对高低直接当作优势信号，从而完全去掉 Critic。

为什么重要

  1. 省一个大模型：不再维护与策略同尺寸的价值网络，训练显存与计算显著下降。
  2. 奖励信号天然适配：对「只有最终奖励、无过程奖励」的任务（数学题对错、CER、风格一致性分数）非常自然——组内比较即可定优劣。
  3. DeepSeek 系列的主力 RL 算法：用于 DeepSeek-V2 的对齐，以及后续 DeepSeek-Math / R1 的推理强化，并迅速扩散到其他领域（如 TTS 风格对齐，见 MCLP）。

工作原理

对每个提示 q：

  1. 采样一组输出：用旧策略 π_old 采样 G 个回答 {o₁,…,o_G}（MCLP 中 G=8）。

  2. 打分：奖励模型/规则给每个输出一个分数 {r₁,…,r_G}。

  3. 组内归一化求优势：

    A_i = (r_i − mean(r₁..r_G)) / std(r₁..r_G)

    组内高于平均者得正优势，低于平均者得负优势——无需价值网络。

  4. PPO 式裁剪更新 + KL 约束：沿用 PPO 的重要性采样比裁剪目标更新策略，并对参考模型加 KL 惩罚（MCLP 中 β=0.001）防止策略漂移过远。

奖励可以是任意标量信号：规则奖励（数学答案对错）、模型奖励，或复合奖励。例如 MCLP 用 风格奖励（MCLP 分数）+ 内容惩罚（CER） 的门控复合奖励，在 GRPO 框架下联合优化风格一致性与内容保真。

历史与演进

  • 2017：PPO 成为 RLHF 标准（带 Critic）。
  • 2024：DeepSeek 在 DeepSeekMath 提出 GRPO，去 Critic、组内相对优势；用于 DeepSeek-V2 对齐。
  • 2025：DeepSeek-R1 用 GRPO 做大规模推理强化，带动「可验证奖励 RL（RLVR）」热潮。
  • 2026：扩散到语音/音频——MCLP 用 GRPO 优化角色扮演 TTS 的风格一致性（MCLP+CER 复合奖励）。

常见误解

  • 「GRPO = 去掉 KL」：不是。去掉的是 Critic/价值网络，KL 惩罚通常仍保留。
  • 「GRPO 就是 DPO」：DPO 是离线、无采样、无显式奖励模型的偏好优化；GRPO 是在线 RL，需在线采样一组输出并用奖励信号更新，更接近 PPO。
  • 「没有 Critic 就没有基线」：组内均值即充当基线（baseline），起到方差缩减作用。

与相邻概念的区别

方法是否需 Critic是否在线采样优势/基线来源
PPO需要是价值网络估计
GRPO不需要是组内相对分数
DPO不需要否（离线偏好对）隐式奖励（闭式解）

相关

关系图谱

反向链接