资料摘要：LLaMA
Meta AI 推出的开源基础语言模型系列（7B-65B），证明仅用公开数据就能训练出超越 GPT-3 175B 的模型，彻底改变了开源 LLM 生态。 LLaMA - Open and Efficient Foundation Language Models
核心要点
- 核心主张：仅使用公开可用数据训练，LLaMA-13B 即超越 GPT-3 175B，LLaMA-65B 与 Chinchilla-70B 和 PaLM-540B 竞争
- 架构改进：Pre-normalization (RMSNorm) + SwiGLU 激活 + RoPE 旋转位置编码
- 数据规模：1.4T tokens，7 个公开数据源（CommonCrawl 67%、C4 15%、GitHub/Wikipedia/Books 各 4.5% 等）
- 模型矩阵：7B / 13B / 33B / 65B，均在 2048 A100-80GB 上训练，batch size 统一 4M tokens
详细笔记
架构创新
| 改进 | 来源 | 说明 |
|---|---|---|
| Pre-normalization (RMSNorm) | GPT-3 | 对每个 sub-layer 的输入而非输出做归一化，提升训练稳定性 |
| SwiGLU 激活 | PaLM | 替换 ReLU，维度用 2/3×4d 而非 PaLM 的 4d |
| RoPE 位置编码 | GPT-Neo | 每层加入旋转位置嵌入，移除绝对位置编码 |
模型规格
| 规模 | dim | heads | layers | LR | tokens |
|---|---|---|---|---|---|
| 6.7B | 4096 | 32 | 32 | 3.0e-4 | 1.0T |
| 13.0B | 5120 | 40 | 40 | 3.0e-4 | 1.0T |
| 32.5B | 6656 | 52 | 60 | 1.5e-4 | 1.4T |
| 65.2B | 8192 | 64 | 80 | 1.5e-4 | 1.4T |
关键点： 7B 模型在 1T tokens 后 loss 仍在下降，与 Chinchilla 定律”10B 模型训 200B tokens 即饱和”的结论相悖。
训练数据
| 数据集 | 占比 | 轮数 | 大小 |
|---|---|---|---|
| CommonCrawl (2017-2020, CCNet 清洗) | 67% | 1.10 | 3.3 TB |
| C4 | 15% | 1.06 | 783 GB |
| GitHub (Apache/BSD/MIT 许可) | 4.5% | 0.64 | 328 GB |
| Wikipedia (20 语言) | 4.5% | 2.45 | 83 GB |
| Books (Gutenberg + Books3) | 4.5% | 2.23 | 85 GB |
| ArXiv | 2.5% | 1.06 | 92 GB |
| StackExchange (28 站点) | 2.0% | 1.03 | 78 GB |
优化器： AdamW，β1=0.9、β2=0.95，权重衰减 0.1，梯度裁剪 1.0，cosine 衰减至峰值 LR 的 10%，2000 步 warmup。
关键结果
- LLaMA-13B 在大多数 benchmark 上超越 GPT-3 175B（仅 1/10 参数）
- 常识推理：LLaMA-65B 在 BoolQ 85.3、HellaSwag 84.2、WinoGrande 77.0，全面超越 Chinchilla-70B
- 闭卷 QA：NaturalQuestions 0-shot 23.8 → 64-shot 39.9、TriviaQA 68.2 → 73.0，均为 SOTA
- 代码：HumanEval pass@1 23.7、pass@100 79.3，超越 PaLM 62B
- 数学：GSM8k（无数学微调）50.9 / maj1@k 69.7，超越 Minerva 62B
- MMLU 5-shot：63.4；指令微调后 68.9
训练效率
- 65B：2048 A100-80GB，21 天训练 1.4T tokens，~380 tokens/s/GPU
- 使用 xformers 高效注意力实现 + 手动 backward 函数（checkpointing）+ 模型/序列并行
- 碳排放总计 ~1,015 tCO2eq，被 Meta 可持续发展项目 100% 抵消
影响
这篇论文直接催生了开源 LLM 生态（Alpaca、Vicuna、Mistral 等），确立了”开放权重”范式。RMSNorm + SwiGLU + RoPE 成为后续开源模型的事实标准架构。