资料摘要：Claude 3
Anthropic 推出的 Claude 3 模型家族（Opus/Sonnet/Haiku），通过 Constitutional AI 训练，Opus 在 GPQA/MMLU/MMMU 等基准上达到 SOTA，200K 上下文窗口（生产环境）。 Claude 3 Model Card
核心要点
- 三级模型：Opus（最强）、Sonnet（速度/能力平衡）、Haiku（最快最便宜）
- Constitutional AI：基于显式伦理宪章（含 UN 人权宣言、残障权利等公众输入）的对齐训练方法
- 多模态：图像+文本输入，文本输出。支持 JPEG/PNG/GIF/WebP，最大 10MB、8000×8000px
- 200K 上下文：200K NIAH 召回率 98.3%（Opus），测试过 100 万 token
- 安全里程碑：良性误拒绝率从 Claude 2.1 的 35.1% 降至 9%
详细笔记
关键基准（Opus 为主）
| 基准 | Opus | Sonnet | Haiku |
|---|---|---|---|
| MMLU (5-shot CoT) | 88.2% | 79.0% | 75.2% |
| GPQA Diamond (0-shot CoT) | 50.4% | — | — |
| MATH (0-shot) | 60.1% | 43.1% | 38.9% |
| HumanEval (0-shot) | 84.9% | 73.0% | 75.9% |
| HellaSwag (10-shot) | 95.4% | 89.0% | 85.9% |
| MMLU 多语言 (5-shot) | 79.1% | — | — |
视觉基准（Opus）：MMMU val 59.4%、AI2D 88.1%、DocVQA 89.3%、MathVista 50.5%（CoT） 多语言 MGSM 0-shot：90.7%
长上下文
- QuALITY 1-shot：90.5%
- NIAH 200K 平均召回率：99.4%（Opus 98.3%）
- Opus 有时能识别 NIAH 任务中插入文本的”人造”性质（meta-awareness）
Constitutional AI 对齐
- 基于显式伦理原则宪章，包含 UN 人权宣言、公众输入的残障权利等
- RLHF + AI Feedback 结合
- 不自训练于用户数据：预训练数据不包含任何用户 prompt/output
Responsible Scaling Policy (RSP)
- 评估灾难性风险：生物、网络、ARA（自主复制适应）
- 所有 Claude 3 模型归类为 ASL-2（无灾难性风险指标）
- 多模态红队测试无害率：Opus 97.9%、Sonnet 99.2%
影响
Claude 3 确立了 Anthropic 作为前沿模型开发者的顶级地位。Constitutional AI 展示了另一种对齐范式。ASL/RSP 安全框架成为行业参考基准。