LLM Wiki

生成式奖励模型（Generative Reward Model）

6分钟阅读

生成式奖励模型（Generative Reward Model）

用「生成推理文本再给分」替代「直接回归标量」的奖励模型——先产出思维链/评判理由，再输出可解释的评分。

是什么

生成式奖励模型（Generative Reward Model, GRM） 是一类奖励模型：不再像传统标量奖励模型（scalar RM）那样把输入直接映射成一个数值，而是先以自然语言生成一段判断过程（评判理由 / 思维链 / 证据），再据此产出评分或偏好。它把「打分」重构成一个生成任务，让评判可解释、可审计，并借助 LLM 的推理能力提升泛化。

典型形态：

  • CoT 评判：模型先写出「为什么好 / 为什么差」的推理链，末尾给出分数或选择。
  • LLM-as-a-Judge 的训练化：把「用大模型当评审」的能力固化进一个专门训练的奖励模型。
  • 特征接地推理：先抽取显式可解释特征，再基于特征做生成式判断（如 GSRM 在语音自然度上的做法）。

为什么重要

  • 可解释性：标量 RM 只给分不给理由，难以定位「哪里不好」；GRM 输出的推理链既是评分依据，也是改进指引。
  • 泛化性：生成式推理比纯回归更能迁移到训练分布外的样本/新任务。
  • 对齐质量：作为 RLHF/RLAIF 的奖励信号或 verifier，更贴近人类「先讲理由后判断」的评审方式，缓解标量 RM 常见的捷径学习。
  • 可扩展评测维度：换一套 rubric/提示即可评测新属性（如从自然度扩展到情感、风格、安全性）。

工作原理

  1. 输入：待评样本（回答 / 语音 / 图像等）+ 可选的参考、rubric、上下文。
  2. 生成判断：模型产出评判文本——可包含证据摘录、逐维分析、思维链推理。
  3. 输出评分：在推理末尾给出结构化子指标 + 总分，或成对偏好（A/B）。
  4. 聚合（可选）：多次采样取均值 / 多数投票，降低方差（如 GSRM 推理 16 次取平均）。
  5. 训练：通常以 SFT 注入评判知识为主（用人类评分或更强模型如 GPT-4o 蒸馏 CoT），RL 可在其上微调——但直接用 RL 训奖励模型易 reward hacking（如 GSRM 中 L2 奖励导致预测坍缩），说明 SFT 阶段不可省。

历史与演进

  • 标量 RM（经典 RLHF）：InstructGPT/PPO 路线，用成对偏好训练一个输出标量的奖励头。见 资料摘要：InstructGPT。
  • LLM-as-a-Judge：直接用强 LLM 打分/裁决，无需专门训练，但不稳定、不可控。
  • 生成式奖励模型：把评判能力训练化、结构化，融合 CoT 推理与评分，成为 2024–2026 对齐研究热点，并向多模态（语音、视觉）扩散。

常见误解

  • 「GRM 就是 LLM-as-a-Judge」：不完全。LLM-as-a-Judge 是零/少样本直接调用；GRM 通常是专门训练过的奖励模型，评判风格与评分校准更可控。
  • 「有了推理链就一定更准」：推理链提升可解释性，但评判上限仍受训练数据/教师模型约束；且生成更慢、需采样聚合降方差。
  • 「GRM 可完全用 RL 从零训出」：实践中直接 RL 训奖励模型易崩溃/被 hack，一般需 SFT 打底。

与相邻概念的区别

  • vs 标量奖励模型：标量 RM 直接回归数值，快但黑箱；GRM 先生成理由再评分，慢但可解释、更易泛化。
  • vs DPO（直接偏好优化）：DPO 绕过显式奖励模型，直接用偏好数据优化策略；GRM 是显式奖励模型的一种，可服务于 PPO/在线 RL 或作 verifier。
  • vs SFT（监督微调）：SFT 是训练手段（GRM 常用 SFT 训练）；GRM 是模型角色（评审/奖励）。

相关

关系图谱

反向链接