资料摘要：LLM架构演进三年回顾
B站视频：上帝视角拆解三年 LLM 架构演进（2019 GPT-2 → 2026 DeepSeek V4），梳理 67 个核心开源模型的架构变化，核心结论：Transformer 五大组件的架构创新空间已基本枯竭。
核心要点
- 总论点：架构创新已近枯竭。Transformer Decoder-Only 架构的五个核心组件（位置编码、归一化、残差连接、FFN、注意力层）的创新空间都被挖掘殆尽
- 差距缩小：开源与闭源、各厂商之间性能差距迅速缩小，印证架构创新的边际效益递减
- “死”的定义：并非技术消失，而是创新空间被挖尽，进入高度内卷和微调阶段
- 未来方向：多模态对齐、世界模型可能是下一个突破口
详细笔记
五大组件演进拆解
| 组件 | 状态 | 演进路线 | 收束方向 |
|---|---|---|---|
| 位置编码 | 死 | PE → RoPE → YaRN → NoPE | RoPE |
| 归一化 | 死 | LayerNorm → RMSNorm；Pre/Post/混合；QK/KV-Norm | RMSNorm + Pre-Norm |
| 残差连接 | 死 | RC → HC → mHC → AttnResidual | 探索中 |
| FFN | 死（→MoE） | 大FFN → 拆分 → Router → MoE → DeepSeekMoE | MoE 化 |
| 注意力层 | 死（百花齐放） | MHA → MQA/GQA/MLA；Sparse/Linear/Hybrid | 无定论 |
宏观视角
差距缩小原因：发展是 S 型曲线顶部 → 简单有效的提升手段用光
三大定律/悖论：
- Scaling Law 瓶颈：互联网数据挖干，算力短期难突破
- Bitter Lesson：大规模计算 > 人类手工设计，架构微操可能阻碍学习
- 莫拉维克悖论：机器擅长逻辑推理，不擅长感知/运动/常识
未来展望：
- 单纯优化 Transformer 架构无法突破上限
- 多模态目前停留在对齐阶段
- 世界模型定义模糊，可能是下一个突破口
引用与数据
- 覆盖模型范围：2019 GPT-2 → 2026 DeepSeek V4，共 67 个核心开源模型
- 论文引用：30+ 篇关键论文覆盖五大组件演进全程