1 V3与R1的主要特征
DeepSeek-R1的模型架构来自于V3，甚至可以说R1是具有推理（Reasoning）能力的V3。下面先分别分析V3和R1的架构特征。
1.1 V3/R1架构特征
DeepSeek-V3 是一个混合专家 (MoE)语言模型，具有 6710 亿(671B)参数，其中每个Token（词元）的计算约激活 370 亿（37B）参数。这个模型参数量与GPT-4大致在同一数量级。
MoE（Mixture of Experts）是组合多个专家模型提升深度学习模型性能和效率的架构。其核心思想是通过引入多个专家模型（Experts），每个输入数据只选择和激活其中的一部分专家模型进行处理，从而减少计算量，提高训练和推理速度。MoE的概念在1991年就已提出，训练不容易收敛是其在大模型领域应用的主要障碍。
MoE模型基本结构示意（来源：网络）
DeepSeek-V3 采用了多头潜注意力 (MLA，对传统多头注意力机制的改进) 和 DeepSeekMoE 架构（对传统MoE架构的改进），无辅助损失的负载平衡策略等创新技术，基于 14.8 万亿Token的数据进行训练，在代码生成、分析等任务中表现出色。
其中多头潜注意力 (MLA) 机制和DeepSeekMoE是V3和R1模型提高计算效率，减少算力浪费的关键。其中MLA大概贡献了2-4倍的计算效率提升，MoE大概贡献了4倍以上的计算效率提升。
1）MLA（Multi-Head Latent Attention）
在“attention”大一统的背景下，传统的多头注意力（MHA，Multi-Head Attention）的键值（KV）缓存机制事实上对计算效率形成了较大阻碍。缩小KV缓存（KV Cache）大小，并提高性能，在之前的模型架构中并未很好的解决。DeepSeek引入了MLA，一种通过低秩键值联合压缩的注意力机制，在显著减小KV缓存的同时提高计算效率。低秩近似是快速矩阵计算的常用方法，在MLA之前很少用于大模型计算。在这里我们可以看到DeepSeek团队的量化金融基因在发挥关键作用。当然实现潜空间表征不止低秩近似一条路，预计后面会有更精准高效的方法。
从大模型架构的演进情况来看，Prefill和KV Cache容量瓶颈的问题正一步步被新的模型架构攻克，巨大的KV Cache正逐渐成为历史。（事实上在2024年6月发布DeepSeek-V2的时候就已经很好的降低了KV Cache的大小）
2）DeepSeekMoE
为了MoE架构更好的融入大模型体系，克服传统MoE模型的训练难题。DeepSeek采用了细粒度专家+通才专家的思路，不再使用少数大专家的结构，而是使用大量极小的专家结构。这个思路的本质在于将知识空间进行离散细化，以更好的逼近连续的多维知识空间，是一个非常好的方法。
无辅助损失的负载平衡策略可在不依赖辅助损失函数的情况下平衡分配计算/训练负载，更好的提高训练稳定性。
基于以上关键的改进，V3实现了更高的训练效率，比性能类似的 Llama 3.1 405B 少了大约 10 倍的训练计算量。
1.2 R1在CoT的进化
广义上的DeepSeek-R1 不是一个单一的模型，还包括了R1的初始阶段模型DeepSeek-R1-Zero，以及几个基于R1蒸馏的较小的大模型。在这里我们主要讨论R1-Zero和R1。
1.2.1 DeepSeek-R1-Zero
DeepSeek-R1-Zero最大的特点在于，该模型仅使用强化学习进行的训练，通过各种思维链（CoT，Chain of Thought）数据特别是Long CoT数据来激活模型的推理能力。
DeepSeek-R1-Zero 是一个独特的通过大规模强化学习 (RL，Reinforcement Learning) 训练的模型，无需有监督微调 (SFT，Supervised Fine-Tuning) ，具备较强的推理（Reasoning）能力。
首先要区分两个容易混淆的概念：Reasoning（推理）：通过对事实的考虑和分析来得出结论的过程。推理强调的是思考和决策的过程，比“推断”具有更多的逻辑和分析过程。 Inference（推断）：基于已有信息或数据推导出新的信息或结论的过程。推断侧重于通过既定的算法或模型来实现，与“推理”相比，更强调形式化和计算过程。
R1-Zero展示出自我验证、反思和长链思维推理能力，甚至在推理方面得分略微超过R1。虽然R1-Zero有一些明显的局限性，特别是在输出可读性和语言一致性方面，仍需要解决可读性差和语言混合等问题。
这大概是第一个公开验证大模型的推理（Reasoning）能力可以仅通过 强化学习来完成训练。现在看来，R1-Zero的价值远超R1。按照NLP领域对语言的理解，人类的自然语言并不是最完美的推理语言。在R1-Zero的进一步进化过程中，或许可以构建出更适合推理的混合语言IR，建立更高效的推演体系。
1.2.2 DeepSeek-R1
相比之下，DeepSeek-R1采用了多阶段训练方法，加入了SFT，而不是采用纯粹的强化学习，R1从一小组精心挑选的示例数据（称为“冷启动数据”）进行有监督微调（SFT），再进入强化学习。这种方法改善了 DeepSeek-R1-Zero 的语言可读性和连贯性，同时在推理之外的测试中实现了更好的性能。
DeepSeek-V3整体架构（来源：DeepSeek）