⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠ You can decompress Drawing data with the command palette: ‘Decompress current Excalidraw file’. For more info check in plugin settings under ‘Saving’
Excalidraw Data
Text Elements
Transformer Decoder-Only 架构五大组件演进 (2019–2026)
67 个核心开源模型回顾 | 五大组件创新空间评估
位置编码
PE (固定正弦/余弦)
RoPE (旋转矩阵)
YaRN (RoPE 扩展)
NoPE (无位置编码)
创新枯竭 → RoPE 收束
归一化
LayerNorm → RMSNorm
Pre-Norm (主流)
Post-Norm / 混合使用
QK-Norm / KV-Norm
创新枯竭 → RMSNorm+Pre-Norm
残差连接
RC (原始残差连接)
HC (超连接 Hyper Connection)
mHC (流形约束超连接)
AttnResidual (注意力残差)
创新空间极小
FFN 层 → MoE
Dense FFN (全连接)
拆分多个小 FFN
Router 路由层
MoE / DeepSeekMoE
已收敛 → MoE 化
注意力层
MHA (多头注意力)
MQA / GQA / MLA
Sparse Attention (稀疏)
Linear / Hybrid (线性/混合)
百花齐放 · 无定论
数据流向：位置编码 → 归一化 → 注意力 → FFN → 残差连接 → 循环
宏观视角：三大定律 / 悶论
Scaling Law 瓶颈
增加数据、算力、模型规模能提升能力
但互联网数据已被挖干，算力短期难突破
Bitter Lesson (苦涩的教训)
长期看，大规模计算 > 人类手工设计的聪明规则
人类在架构上的微操可能阻碇模型学习速度
莫拉维克悖论
机器擅长逻辑推理 (人类觉得难的事)
不擅长感知、运动、常识 (人类觉得简单的事)
结论：LLM 领域处于存量博弈状态 —— 不高估单个技术贡献，也不低估量变到质变的过程