资料摘要：Mixtral
Mistral AI 推出的稀疏混合专家 (SMoE) 模型，47B 总参数仅激活 13B/token，在多数基准上超越 Llama 2 70B，Instruct 版本在人类评估中优于 GPT-3.5、Gemini Pro 和 Claude 2.1。Apache 2.0 许可。 Mixtral of Experts
核心要点
- SMoE 架构：基于 Mistral 7B，每层 8 个专家 FFN，每 token 路由到 Top-2 专家
- 47B 总参数 / 13B 激活：5x 更少激活参数下超越 Llama 2 70B
- 数学和代码远超 Llama 2 70B，多语言（法/德/西/意）大幅领先
- Instruct 版本：SFT + DPO 对齐，MT-Bench 8.30，LMSys Arena Elo 1121（开源最高）
- Apache 2.0 许可，完全开放商用
详细笔记
模型架构
| 参数 | 值 |
|---|---|
| dim | 4096 |
| layers | 32 |
| head_dim | 128 |
| n_heads | 32 |
| n_kv_heads (GQA) | 8 |
| hidden_dim | 14336 |
| context_len | 32768 |
| vocab_size | 32000 |
| num_experts | 8 |
| top_k_experts | 2 |
每层 MoE：y = Σ Softmax(Top2(x·W_g))_i · SwiGLU_i(x)。所有 FFN 子块替换为 MoE 层（而 GShard 仅替换每隔一层）。
关键基准
| 基准 | Mixtral 8x7B (13B active) | Llama 2 70B | GPT-3.5 |
|---|---|---|---|
| MMLU | 70.6% | 69.9% | 70.0% |
| HellaSwag | 86.7% | 87.1% | 85.5% |
| ARC Challenge | 85.8% | 85.1% | 85.2% |
| GSM-8K (5-shot) | 58.4% | 53.6% | 57.1% |
| MBPP (pass@1) | 60.7% | 49.8% | 52.2% |
| HumanEval | 40.2% | 29.3% | — |
| MATH (4-shot maj@4) | 28.4% | 13.8% | — |
多语言（MMLU）：法语 70.9% vs Llama2 70B 64.3%、德语 71.5% vs 64.2%、西班牙语 72.5% vs 66.0%、意大利语 70.9% vs 65.1%
Instruct 版本：MT-Bench 8.30、LMSys Arena Elo 1121，超越所有 GPT-3.5 版本 (最高 1117)、Claude 2.1 (1117)、Gemini Pro (1111)
路由分析（论文亮点）
- 专家选择未按领域/主题明显分化（ArXiv、生物、哲学文档的专家分布几乎相同）
- 唯一例外：DM Mathematics（合成数据）有略微不同的分布
- 连续 token 常分配给相同专家：高层（layer 15/31）重复分配率 60-67%，远超随机（~46%）
- 结论：路由更基于语法结构而非语义领域；高层显示显著位置局部性（对缓存优化有启示）
长上下文能力
32K 上下文，Passkey Retrieval 100% 准确率（不受长度或位置影响），Proof-Pile 数据集上 perplexity 随上下文单调下降
偏差评估
BBQ 准确率 56.0%（vs Llama2 70B 51.5%），BOLD 情感分布更正向且方差更小
影响
Mixtral 证明了 MoE 在开源 LLM 中的巨大潜力，以 1/5 激活参数超越 70B 密集模型。Apache 2.0 + 开源推理栈（vLLM/Megablocks）使其可无障碍商用部署。成为后续 MoE 模型（DeepSeek-V2/V3、Qwen2-MoE 等）的重要参照。