摘要

本文系统性梳理了2025年主流开源LLM的架构创新，涵盖从DeepSeek-V3到Kimi K2的代表性设计。这些模型在保持高效推理的同时，通过差异化技术路径实现了性能突破，核心趋势可归纳为以下三类：

稀疏化与专家系统

• 混合专家系统（MoE）：DeepSeek-V3（671B）、Llama 4 Maverick（400B）、Qwen3（235B）均采用MoE架构，通过激活部分专家（如DeepSeek的9专家/2048隐藏层，Llama 4的2专家/8192隐藏层）平衡计算效率与模型容量。
• 动态路由：MoE通过路由模块选择激活专家，DeepSeek-V3在每层使用9专家，而Qwen3 235B-A22B则采用8专家设计，放弃共享专家（与DeepSeek-V3不同）。

注意力机制优化

• 多头潜在注意力（MLA）：DeepSeek-V3首创MLA替代传统MHA，通过低秩投影减少KV缓存（37B激活参数 vs MHA的671B总参数），提升推理效率。
• 滑动窗口注意力（Sliding Window）：Gemma 3（27B）采用局部注意力窗口（1024上下文），Mistral Small 3.1（24B）则回归传统GQA，推测因FlashAttention等优化库更适配全局注意力。
• 无位置嵌入（NoPE）：SmolLM3（3B）尝试移除显式位置编码，依赖因果掩码隐式学习顺序，实验显示其长度泛化能力更优（序列延长时性能衰减更慢）。

归一化与稳定性设计

• RMSNorm变体：
  • OLMo 2采用后归一化（Post-Norm），将RMSNorm置于注意力与前馈模块后，结合QK-Norm（查询键归一化）稳定训练。
  • Gemma 3创新性采用前归一化（Pre-Norm）与后归一化混合设计，兼顾梯度稳定性与计算效率。
• 训练优化：Kimi 2（1T参数）首次在万亿规模模型中采用Muon优化器替代AdamW，实现更平滑的损失衰减（尽管梯度L2范数分析显示其平滑性未显著超越OLMo 2）。

模型架构对比详析

DeepSeek-V3 vs Llama 4 Maverick

维度	DeepSeek-V3	Llama 4 Maverick
总参数	671B	400B
激活参数	37B（9专家，2048隐藏层）	17B（2专家，8192隐藏层）
MoE层分布	除前3层外全采用MoE	交替使用MoE与密集模块
注意力机制	MLA（多头潜在注意力）	GQA（分组查询注意力）

Qwen3 vs SmolLM3

维度	Qwen3 235B-A22B	SmolLM3 3B
架构类型	MoE（8专家，无共享专家）	密集（每4层省略RoPE）
位置编码	RoPE（旋转位置编码）	NoPE（无显式位置嵌入）
性能亮点	32B-A3B/235B-A22B双版本	3B规模下胜过更大模型（图20）

Kimi 2的突破

• 规模与创新：1T参数，采用DeepSeek-V3架构扩展（更多MoE专家、MLA头数调整），训练损失曲线衰减显著（图24）。
• 开源策略：继Kimi 1.5（未公开权重）后，Kimi 2成为首个万亿级开源模型，性能比肩专有模型（Gemini、Claude、ChatGPT）。

1 DeepSeek V3/R1

你可能已经多次听说过，2025年1月发布的DeepSeek R1引起了巨大反响。该模型是基于2024年12月推出的DeepSeek V3架构构建的推理型模型。

虽然本文聚焦2025年发布的架构，但我认为将DeepSeek V3纳入讨论是合理的，因为它在2025年伴随DeepSeek R1的发布才获得广泛关注和应用。

如果你对DeepSeek R1的训练细节感兴趣，可以参考我今年早些时候发布的文章。

本节将重点分析DeepSeek V3引入的两项关键架构技术，它们提升了计算效率并使其区别于其他LLM：

• 多头潜在注意力（MLA）
• 混合专家系统（MoE）

1.1 多头潜在注意力（MLA）

在讨论多头潜在注意力（MLA）之前，先简要回顾相关背景以说明其动机。我们从分组查询注意力（GQA）说起，它近年来已成为替代多头注意力（MHA）的高效方案，在计算和参数效率上更具优势。

以下是GQA的简要总结：与MHA中每个注意力头独立拥有键（Key）和值（Value）投影不同，GQA通过让多个头共享同一组键和值投影来减少内存占用。

例如，假设有2个键值组和4个注意力头（如图2所示），头1和头2可能共享一组键和值，头3和头4则共享另一组。这减少了键值计算的总次数，从而降低内存消耗并提升效率（消融实验表明，此举对模型性能影响可忽略）。

因此，GQA的核心思想是通过让多个查询头共享同一组键值头，来减少键值头的数量。这（1）降低了模型的参数数量，（2）减少了推理时键值张量对内存带宽的占用——因为需要从KV缓存中存储和检索的键值数量更少。

（如果你对GQA的代码实现感兴趣，可以参考我的《GPT-2到Llama 3转换指南》（无KV缓存版本）以及《KV缓存变种指南》。）

虽然GQA主要是对MHA的一种计算效率优化，但消融实验（如原始GQA论文和Llama 2论文中的实验）表明，其在LLM建模性能上与标准MHA相当。

而多头潜在注意力（MLA）则提供了另一种节省内存的策略，且与KV缓存特别适配。与GQA共享键值头不同，MLA在将键值张量存入KV缓存前，会先将其压缩到低维空间。

如图3所示，在推理时，这些压缩后的张量会被投影回原始尺寸后再使用。这一操作增加了一次矩阵乘法，但减少了内存占用。

（附带说明，查询（queries）也会被压缩，但仅在训练期间，推理时不会。）
顺便一提，MLA并非DeepSeek V3的新特性，因为其前身DeepSeek-V2也使用了（甚至引入了）它。
此外，V2论文中包含了一些有趣的消融实验，可能解释了为何DeepSeek团队选择MLA而非GQA（见图4）。
如上图4所示，GQA的性能似乎比MHA更差，而MLA的建模性能优于MHA，这可能就是DeepSeek团队选择MLA而非GQA的原因。（若能比较MLA与GQA在“每标记KV缓存”节省量上的差异，也会很有趣！）

总结本节内容，在进入下一个架构组件前：MLA是一项巧妙的技术，既减少了KV缓存的内存占用，又在建模性能上略微超越了MHA。

1.2 混合专家系统（MoE）

DeepSeek中另一个值得强调的主要架构组件是其使用的混合专家系统（MoE）层。虽然DeepSeek并非MoE的发明者，但该技术今年重新兴起，且我们后续将讨论的许多架构也采用了它。

你可能已经熟悉MoE，但快速回顾一下可能会有帮助。

MoE的核心思想是：将Transformer块中的每个前馈（FeedForward）模块替换为多个专家层，其中每个专家层本身也是一个前馈模块。这意味着我们用多个前馈模块替代了单个前馈模块，如图5所示。

Transformer块内部的前馈模块（如上图中的深灰色块）通常包含模型总参数的很大一部分。（注意：Transformer块（因此前馈模块）在大型语言模型中会多次重复；以DeepSeek-V3为例，重复了61次。）

因此，用多个前馈模块替代单个前馈模块（如MoE设置中所做的）会大幅增加模型的总参数数量。但关键技巧在于：我们不会对每个标记都使用（“激活”）所有专家。相反，路由模块会为每个标记仅选择一小部分专家。（为节省篇幅，路由模块的