LLM架构演进：Transformer已死？
基于 2019-2026 年 67 个核心开源模型的架构演进回顾，论证 Transformer Decoder-Only 架构五大组件的创新空间已基本枯竭。这里的”死”并非技术消失，而是创新的低垂果实被摘完，进入边际效益递减的微调阶段。
关键论点
- 位置编码收束于 RoPE：从固定 PE → RoPE → YaRN → NoPE，RoPE 已成为事实标准，后续创新都是边界微调
- 归一化的排列组合已穷尽：从 LayerNorm 到 RMSNorm，从 Pre-Norm 到 Post-Norm 到 QK/KV-Norm，所有组合都被尝试
- 残差连接的变体空间有限：RC → HC → mHC → AttnResidual 的演进路径短且窄
- FFN 层被 MoE 完全吸收：Dense → Sparse 的范式转换已完成，FFN 创新本质上都在走向 MoE
- 注意力层百花齐放但无定论：Dense / Sparse / Linear / Hybrid 四条路线并进，但每条的创新空间也在收窄
证据
架构演进全景
timeline title Transformer 架构演进时间线 2017 : 原始 Transformer (PE + LayerNorm + MHA + Dense FFN) 2019-2020 : LayerNorm→RMSNorm : Pre-Norm / Post-Norm 探索 : MQA 提出 : Sparse Attention 提出 2021-2022 : RoPE 提出并推广 : Switch Transformer (MoE) : GQA 提出 2023 : LLaMA 确立 RoPE+RMSNorm+Pre-Norm 范式 : Mamba (SSM) 提出 : YaRN 扩展 RoPE 2024 : DeepSeek-V2 MLA+MoE : GQA 成为标配 : Linear Attention 爆发 : Mamba-2 2025-2026 : DeepSeek V4 (CSA/HCA) : AttnResidual/mHC 探索 : Mamba-3 : 各路线继续微调
LLM架构演进 五大组件图.excalidraw
⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
Transformer Decoder-Only 架构五大组件演进 (2019–2026)
67 个核心开源模型回顾 | 五大组件创新空间评估
位置编码
PE (固定正弦/余弦)
RoPE (旋转矩阵)
YaRN (RoPE 扩展)
NoPE (无位置编码)
创新枯竭 → RoPE 收束
归一化
LayerNorm → RMSNorm
Pre-Norm (主流)
Post-Norm / 混合使用
QK-Norm / KV-Norm
创新枯竭 → RMSNorm+Pre-Norm
残差连接
RC (原始残差连接)
HC (超连接 Hyper Connection)
mHC (流形约束超连接)
AttnResidual (注意力残差)
创新空间极小
FFN 层 → MoE
Dense FFN (全连接)
拆分多个小 FFN
Router 路由层
MoE / DeepSeekMoE
已收敛 → MoE 化
注意力层
MHA (多头注意力)
MQA / GQA / MLA
Sparse Attention (稀疏)
Linear / Hybrid (线性/混合)
百花齐放 · 无定论
数据流向：位置编码 → 归一化 → 注意力 → FFN → 残差连接 → 循环
宏观视角：三大定律 / 悶论
Scaling Law 瓶颈
增加数据、算力、模型规模能提升能力
但互联网数据已被挖干，算力短期难突破
Bitter Lesson (苦涩的教训)
长期看，大规模计算 > 人类手工设计的聪明规则
人类在架构上的微操可能阻碇模型学习速度
莫拉维克悖论
机器擅长逻辑推理 (人类觉得难的事)
不擅长感知、运动、常识 (人类觉得简单的事)
结论：LLM 领域处于存量博弈状态 —— 不高估单个技术贡献，也不低估量变到质变的过程
指向原始笔记的链接
五大组件创新空间评估
| 组件 | 创新阶段 | 剩余空间 | 收束方向 | 代表论文数 |
|---|---|---|---|---|
| 位置编码 | 成熟 | 极低 | RoPE + 变体 | ~6 |
| 归一化 | 成熟 | 极低 | RMSNorm + Pre-Norm | ~5 |
| 残差连接 | 早期探索 | 低 | 无定论 | ~4 |
| FFN → MoE | 收敛中 | 低-中 | MoE 化 + 细粒度专家 | ~8 |
| 注意力层 | 活跃 | 中 | 无定论（4路线并进） | ~15 |
差距缩小的实证
开源与闭源模型性能差距持续缩小（如 Llama 3 405B 对标 GPT-4，DeepSeek-V3 对标 Claude 3.5），说明：
- 架构层面的”秘密武器”越来越少
- 性能差异更多来自数据工程和训练规模，而非架构创新
- S 型曲线顶部：同样投入带来的边际收益递减
开放问题
- 注意力层的终局是什么？ Dense/Sparse/Linear/Hybrid 四条路线最终谁会胜出，还是永远共存？
- Transformer 之外的路能走多远？ Mamba/SSM 等非 Transformer 架构能否在某个拐点超越？
- 架构创新的”质变”还会来吗？ Bitter Lesson 暗示下一个突破可能来自规模而非设计，但 Scaling Law 也在放缓
- 世界模型到底指什么？ 定义模糊，但被寄予厚望成为下一个突破口
启示
- 不要高估单个架构创新的贡献 — 在 S 型曲线顶部，每个新技巧的增量收益越来越小
- 不要低估量变积累的价值 — 多个 1-2% 的改进叠加仍能产生可观提升
- 关注数据工程和训练方法 — 架构之外，数据质量、训练配方、后训练方法的提升空间可能更大
- 多模态和世界模型值得关注 — 这些可能打开新的能力维度，而非仅在语言能力上内卷