资料摘要：Llama 3

Meta 推出的 Llama 3.1 模型系列（8B/70B/405B），405B 旗舰首次实现开源模型与 GPT-4 水平相当的性能。92 页技术报告详尽记录训练基础设施、数据管线、缩放法则和后训练方法。 Llama 3 - The Herd of Models

核心要点

405B 对标 GPT-4：MMLU 87.3、HumanEval 89.0、GSM8K 96.8，全面接近 GPT-4o 水平
15.6T tokens 训练（Llama 2 的 8.7 倍），数据混合约 50% 通用知识 + 25% 数学推理 + 17% 代码 + 8% 多语言
训练基础设施史诗级透明：92 页报告记录网络拓扑、硬件故障统计（54 天内 466 次中断，78% 硬件相关）、昼夜吞吐量波动
后训练简化：迭代 SFT + DPO + Rejection Sampling，不用 PPO

架构：密集 Transformer（非 MoE），GQA 8 组 KV、128K 词表（100K tiktoken + 28K 非英语）、RoPE θ=500,000、文档 mask 防止跨文档注意力

硬件：最多 16K H100 GPU（700W TDP, 80GB HBM3），Meta Grand Teton 平台
存储：240 PB, 2 TB/s 吞吐
网络：RoCE（Arista 7800）+ InfiniBand，400 Gbps GPU 互联
并行：4D — Tensor + Context + Pipeline + Data (FSDP)
BF16 MFU：38-43%
有效训练时间：>90%（54 天快照内 466 次中断，78% 硬件相关、平均 3 分钟解决）
阶段：(1) 初始预训练 8K 上下文 → (2) 长上下文预训练逐步扩至 128K → (3) Annealing：最后 40M tokens、LR 降至 0、高质量数据上采样、Polyak 平均

基准	405B	GPT-4o	Claude 3.5 Sonnet
MMLU	88.6	88.7	88.3
HumanEval	89.0	90.2	92.0
GSM8K	96.8	96.1	96.4
MATH	73.8	76.6	71.1
GPQA	51.1	53.6	59.4

两阶段方法论：先关联 FLOPs 与 NLL，再关联 NLL 与下游准确率，跨越 4 个数量级准确预测最终性能

组合式方案：独立图像/语音编码器 + 适配器层（交叉注意力或 token 级转换），语言模型权重保持冻结

Llama 3 是首个在 405B 规模上达到与封闭前沿模型（GPT-4、Claude 3.5 Sonnet）相当水平的开放权重模型。报告的透明度设定了新标准——提供比任何前沿实验室以往都更详尽的训练细节。