资料摘要：Gemini
Google DeepMind 推出的原生多模态模型家族（Ultra/Pro/Nano），联合训练于图像、音频、视频和文本数据。Ultra 是首个在 MMLU 上超越人类专家的模型（90.04%），在 32 项基准中的 30 项达到 SOTA。 Gemini - A Family of Highly Capable Multimodal Models
核心要点
- 原生多模态：图像、音频、视频、文本联合训练，而非独立编码器拼接
- MMLU 90.04%：首次超越人类专家（89.8%），前 SOTA 为 GPT-4 的 86.4%
- 三级模型：Ultra（最强）、Pro（性能/部署平衡）、Nano（端侧）
- TPU 训练：TPU v4/v5 大规模训练，自研基础设施
- CoT@32 不确定性引导策略：生成多个 CoT，有共识时选共识答案，无共识时回退 greedy
详细笔记
关键基准（Gemini Ultra）
| 基准 | Ultra | GPT-4 | 说明 |
|---|---|---|---|
| MMLU | 90.04% CoT@32 | 86.4% 5-shot | 首超人类 (89.8%) |
| GSM8K | 94.4% maj1@32 | 92.0% | 小学数学 |
| MATH | 53.2% 4-shot | 52.9% | 竞赛数学 |
| HumanEval | 74.4% 0-shot | 67.0% | 代码生成 |
| BIG-Bench-Hard | 83.6% 3-shot | 83.1% | 困难推理 |
| DROP (F1) | 82.4 | 80.9 | 阅读理解+算术 |
| HellaSwag | 87.8% 10-shot | 95.3% | 常识推理 |
AMC 数学竞赛：32% 正确率 vs GPT-4 30% Natural2Code（防泄漏）：74.9% vs GPT-4 73.9%
多模态能力
- 图像：MMMU、VQAv2、TextVQA、DocVQA 等基准全 SOTA
- 视频：Video-MME、ActivityNet-Captioning 等
- 音频：语音识别、翻译（多语种 AST 基准全 SOTA）
- 代码：AlphaCode 2 集成 Gemini 在 Codeforces 达到前 15%
架构与训练
- TPU 加速器：TPU v4 和 v5p 大规模部署，自研基础设施
- 联合多模态训练（非松耦合），token 级多模态交错
- Gemini Nano 使用 4-bit 量化服务于端侧（Pixel 8 Pro）
- 训练 token 数遵循 Chinchilla 定律，小模型显著过训练基于推理预算考量（类似 LLaMA 方法）
- 数据质量被强调为高性能关键因素
后训练与安全
- 基于人类反馈的 SFT + RLHF/Constitutional AI 风格对齐
- 安全过滤：启发式规则 + 模型分类器
- 评估数据去污染：训练前搜索并移除可能泄露的评估数据
- 训练过程中调整数据混合权重，后期增加领域相关数据
影响
Gemini 是 Google 对 GPT-4 的回应，首次在 MMLU 上超越人类专家成为标志性里程碑。原生多模态训练（vs GPT-4 的图像适配方案）是架构层面的差异化选择。TPU 大规模训练的可行性被验证，推动了后续 Gemini 1.5（超长上下文）和 Gemini 2.0 系列。