资料摘要：DeepSeek-V2
DeepSeek 推出的 236B MoE 模型（激活 21B），引入 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 两大架构创新，KV 缓存减少 93.3%，训练成本降低 42.5%，引发中国大模型价格战。 DeepSeek-V2
核心要点
- 236B 总参数，仅激活 21B/ token：MoE 架构，2 个共享专家 + 160 个路由专家，每 token 激活 6 个
- Multi-head Latent Attention (MLA)：对 KV 做低秩联合压缩（d_c=512），KV 缓存减少 93.3%，且性能优于标准 MHA
- 训练成本降低 42.5%（vs DeepSeek 67B），最大生成吞吐提升 5.76x
- GRPO 算法：无需 Critic 模型的 RL 对齐方法
详细笔记
Multi-head Latent Attention (MLA)
核心思想：将 K、V 联合压缩到低秩潜向量，大幅减少 KV 缓存。
- KV 联合压缩到 d_c=512 维潜向量（原本 2×128×128=32,768 元素）
- 推理时上投影矩阵 W_UK、W_UV 可吸收进 W_Q 和 W_O，无需显式计算 K/V
- 解耦 RoPE：压缩部分不加 RoPE，分离出 d_R_h=64 维的 RoPE 分量
- 性能优于 MHA，同时 KV 缓存小于 GQA group=2.25 的水平
- 对 Query 也做了低秩压缩（d’_c=1536），节省训练激活内存
DeepSeekMoE
- 细粒度专家分割：2 共享 + 160 路由专家，每 token 激活 6 个路由专家
- 专家中间层 dim=1536
- Device-limited routing：确保每个 token 的目标专家最多跨 M=3 个设备
- 三重辅助 loss：Expert-Level Balance (0.003) + Device-Level Balance (0.05) + Communication Balance (0.02)
模型架构
| 参数 | 值 |
|---|---|
| Transformer layers | 60 |
| Hidden dim | 5120 |
| Attention heads | 128，每头 128 |
| 上下文长度 | 128K (YaRN 扩展) |
| 总参数 | 236B |
| 激活参数 | 21B/token |
GRPO (Group Relative Policy Optimization)
弃用 Critic 模型（通常与策略同等大小），用组内相对分数估计基线：
- 从旧策略采样一组输出，组内相对分数作为 Advantage 信号
- 消除对独立价值函数的需求，降低 RLHF 训练成本
概念详解见 GRPO（组相对策略优化）。
训练细节
- 预训练数据：8.1T tokens，中英文多源高质量语料
- Max seq len：4K（预训练）→ 128K（YaRN 扩展，s=40, α=1, β=32）
- 优化器：AdamW（β1=0.9, β2=0.95, wd=0.1），梯度裁剪 1.0
- LR：warmup-and-step-decay；max 2.4e-4，在 60% 和 90% tokens 处乘 0.316
- Batch size：2304 逐步增至 9216
- 并行：16 路 zero-bubble pipeline + 8 路 expert parallelism + ZeRO-1 DP（无 TP）
- 硬件：NVIDIA H800 GPU，NVLink/NVSwitch 节点内 + InfiniBand 跨节点
- SFT：1.5M 实例，2 epochs，LR=5e-6
关键基准（Base 236B vs 竞争对手）
| 基准 | DK-V2 | LLaMA3-70B | Mixtral 8x22B |
|---|---|---|---|
| MMLU | 78.5 | 78.9 | 77.6 |
| GSM8K | 79.2 | 83.0 | 80.3 |
| MATH | 43.6 | 42.2 | 42.5 |
| HumanEval | 48.8 | 48.2 | 53.1 |
| BBH | 78.9 | 81.0 | 78.9 |
Chat 模型：MT-Bench 8.97（当时开源最高）、AlpacaEval 2.0 LC 38.9、GSM8K 92.2
影响
MLA 成为 Transformer 注意力机制的重要创新（后续用于 DeepSeek-V3 和 DeepSeek-R1）。该模型以极致性价比引发中国 AI 市场”价格战”，促使字节、阿里、百度等大幅降价。DeepSeek 由此确立了开源 MoE 模型的领先地位。