Constitutional AI
Anthropic 提出的对齐训练方法，基于显式书写的伦理原则宪章（Constitution）指导模型行为，通过 AI 自我批评和自我改进减少对人类标注的依赖。
是什么
Constitutional AI 由两个阶段组成：
- 监督学习阶段：模型根据宪章原则自我批评（critique）自己的有害输出，然后根据批评修正（revision）输出，用修正后的数据做 SFT
- RL 阶段：用 AI 反馈（基于宪章原则的模型评估）替代人类偏好标注，训练偏好模型做 RL
核心理念：将人类价值编码为可审计、可修改的显式规则，而非依赖大量标注员的隐性判断。
为什么重要
- 可审计：宪章是公开文档，模型行为的评判标准透明
- 可迭代：宪章可以修改更新（Claude 3 加入了来自公众输入的残障权利原则）
- 规模化：AI 自我批评+修正减少了昂贵的人类标注
- 减少过度拒绝：Claude 3 相比 Claude 2.1 的良性误拒绝率从 35.1% 降至 9%
代表性宪章内容
Claude 3 的训练宪章包含：
- UN 世界人权宣言中的原则
- 具体的行为准则（不鼓励暴力、不助长歧视等）
- 通过 Collective Constitutional AI 从公众输入中添加的残障权利等原则
与 RLHF 的关键区别
| 维度 | RLHF | Constitutional AI |
|---|---|---|
| 偏好来源 | 人类标注员排序 | 宪章原则 + AI 自我评估 |
| 可审计性 | 低（标注员的隐性判断） | 高（显式书写的原则） |
| 规模化 | 受限于标注员数量和质量 | AI 自我批评可无限扩展 |
| 过度拒绝风险 | 较高 | 通过原则平衡可降低 |