资料摘要：GPT-4o System Card
OpenAI 发布的 GPT-4o 安全系统卡，首个”全模态”模型（文本+视觉+音频统一网络），音频响应时间 320ms 接近人类对话速度。 GPT-4o System Card
核心要点
- 真全模态：接受文本、音频、图像、视频任意组合输入，生成文本、音频、图像输出，由同一神经网络端到端处理
- 音频响应 320ms（最快 232ms），接近人类对话反应时间
- 安全性评估：按 Preparedness Framework 各领域评分 — 网络 Low、生物 Low、说服力 Medium（边界线）、自主性 Low
- 效率：英文文本和代码与 GPT-4 Turbo 相当，API 费用降低 50%，速度更快
详细笔记
关键基准
| 基准 | GPT-4o | GPT-4T |
|---|---|---|
| MedQA USMLE 4-option | 89.4% | 78.2% |
| MedQA USMLE 5-option | 86.4% | 74.7% |
| MMLU Clinical Knowledge | 92.4% | 85.2% |
| SWE-Bench (pass@1) | 19% | — |
| ARC-Easy (Hausa 等低资源语言) | 71.4% | 6.1%（GPT-3.5T） |
安全评估框架
Preparedness Framework：
| 风险领域 | 评分 |
|---|---|
| 网络安全 | Low |
| 生物威胁 | Low |
| 说服力 | Medium（文本模态边界越过阈值；音频模态 Low：AI 对话仅达人类 65% 的意见改变效果） |
| 模型自主性 | Low（0% ARA 任务，无法采取鲁棒的自主行动） |
语音安全栈：
- 后训练拒绝说话人识别、避免无根据推断（ungrounded inference）
- 仅使用 4 种预设语音
- 输出分类器阻断语音偏离（对语音偏离有 100% recall）
训练细节
- 预训练数据截至 2023 年 10 月
- 后训练：RLHF 风格对齐
- 安全过滤：Moderation API 分类器（CSAM/仇恨/暴力/CBRN）、PII 过滤、DALL-E 3 输出指纹识别
- 音频安全通过 TTS 方法评估：文本 TTS → 评估 TTS 输出 → 外推到语音能力
影响
GPT-4o 标志着从纯文本/视觉模型到原生全模态模型的范式转变。320ms 语音延迟使 AI 对话首次感到”自然”。系统卡重点关注语音交互带来的独特风险（非授权语音生成、情感依赖）。