资料摘要：Llama 2
Meta 推出的开源大模型系列（7B/13B/70B），首次对 RLHF 对齐方法论进行全面透明披露，对话模型在人类评估中与 ChatGPT 相近。 Llama 2 - Open Foundation and Fine-Tuned Chat Models
核心要点
- 完整开源：预训练 + 对话微调（RLHF）权重全部开放，附带商业可用许可
- RLHF 透明披露：详尽记录数据收集、奖励模型训练、多轮迭代 RLHF、安全性工作的全流程
- 2T tokens 训练，上下文从 2K 翻倍到 4K；34B/70B 采用 GQA（分组查询注意力）
- 70B 可媲美 ChatGPT：人类评估中 Llama 2-Chat 70B 与 GPT-3.5-turbo 互有胜负
详细笔记
模型规格
| 规模 | GQA | tokens | LR |
|---|---|---|---|
| 7B | 否 | 2.0T | 3.0e-4 |
| 13B | 否 | 2.0T | 3.0e-4 |
| 34B | 是 | 2.0T | 1.5e-4 |
| 70B | 是 | 2.0T | 1.5e-4 |
注：34B 已训练并出现在论文各表中，但 Meta 因红队测试未达发布标准未公开发布 34B 权重——故引言「开源系列」只列 7B/13B/70B。
架构基于 Llama 1：RMSNorm + SwiGLU + RoPE，新增 4K 上下文、GQA（34B/70B）。
RLHF 方法（详尽记录）
数据收集：
- SFT：27,540 条高质量人工标注数据
- RM 训练：1,418,091 条人工偏好对比数据（二元比较）
- 每条对话平均 3.9 轮，每条样本平均 798.5 token
分离式奖励模型：
- 分别训练 Helpfulness RM 和 Safety RM
- RM 从预训练对话模型初始化，分类头替换为标量回归头
- Helpfulness RM Meta 测试集准确率 63.2%，Safety RM 64.5%
迭代式 RLHF（V1→V5）：
- Rejection Sampling：每条 prompt 采样 K 个输出，RM 选最优作为新金标准，70B 模型执行 RS、小模型蒸馏。最优温度 T=1.2-1.3
- PPO：KL 奖励 = whiten(logit(R_c)) - β·D_KL；R_c 综合 safety/helpfulness RM；β=0.01(7B/13B)、0.005(34B/70B)；200-400 轮，70B 每轮约 330s
Ghost Attention (GAtt)：将系统指令在所有轮次中合成拼接至用户消息；训练时除最后轮次外 token 损失置零；实现 20+ 轮多轮一致性
安全性上下文蒸馏：在对抗性 prompt 前添加安全预提示生成安全回答，去除预提示后在该输出上微调；仅当 safety RM 评分提升时应用
关键基准
| 基准 | Llama 2 70B | GPT-3.5 | GPT-4 |
|---|---|---|---|
| MMLU | 68.9 | 70.0 | 86.4 |
| GSM8K | 56.8 | 57.1 | 92.0 |
| HumanEval | 29.9 | 48.1 | 67.0 |
训练细节
- 优化器 AdamW（β1=0.9, β2=0.95），cosine LR、2000 步 warmup、衰减至峰值 10%
- 权重衰减 0.1、梯度裁剪 1.0、全局 batch 4M tokens
- Meta RSC 集群 A100-80GB，总计 330 万 GPU 小时
- 碳排放 539 tCO2eq（100% 抵消）
- 验证 RoCE 在 2000 GPU 规模下几乎与 InfiniBand 同等扩展
影响
Llama 2 为整个开源社区提供了 RLHF 对齐的完整蓝图（数据→RM→迭代→安全），商业许可加速了生态采纳。GAtt、分离式 RM、迭代 RLHF 等方法被后续模型广泛借鉴。
相关
- 资料摘要：LLaMA
- 资料摘要：Llama 3
- RLHF（人类反馈强化学习）
- DPO（直接偏好优化）
- GPU 节点互联与分层带宽 — 节点内 NVLink/NVSwitch 与跨节点 RoCE 的性能层次对照
- Wiki 目录