5 R1的训练流程
5.1 无SFT的R1-Zero训练
DeepSeek-R1 建立在其基础模型DeepSeek-V3的混合专家（MoE）架构之上，采用专家并行方式，对于任意输入，只有部分参数处于活跃状态。
作为R1的无SFT版本，R1-Zero使用 DeepSeek-V3-Base 作为基础模型，直接使用 GRPO进行强化学习来提升模型的推理（Reasoning）性能, 根据准确度和格式进行训练奖励。
R1-Zero的训练过程具有重要意义：
1）在大模型训练领域，SFT 需要高质量的人工标注数据（标注过程一般需要很长周期、成本高，且可能因标记者的偏好而引入潜在偏差）。
2）复杂的推理任务可能超出了普通人类的能力。无SFT的纯强化学习方法也许可以使模型能够涌现出超越传统人类思维上限的超级推理能力。
3）无SFT的纯强化学习不依赖于显式标注，允许模型使用非自然语言表征方法进行“思考”，从而具有超越自然语言进行逻辑推理的潜力。
奖励的计算方式在很大程度上决定了强化学习训练的效果。DeepSeek-R1-Zero 的基于规则的奖励系统包括：
1）准确度奖励（Accuracy rewards）。评估响应是否正确。
2）格式奖励（Format rewards）。奖励模型将其思考过程置于“<think>”和“</think>”标签之间。
DeepSeek的准确度奖励与格式奖励（来源：互联网）
通过强化学习训练，R1-Zero 形成了复杂的推理能力，包括反思（模型重新审视并重新评估其先前的回答）以及探索解决问题的替代方法。这些能力并非通过常规编程或提示工程实现的，而是大模型在强化学习环境中自发产生的能力。
根据R1的论文，强化学习训练中R1-Zero形成的另一个关键特征是顿悟时刻（Aha Moment）。R1-Zero 通过重新评估其初始方法学会为问题分配更多的思考时间（更长的推理）。无需明确的教模型如何解决问题，只需为其提供适当的激励，模型就会自主形成解决问题的策略。这也说明强化学习有潜力解锁新的智能水平，为未来更自主、更具适应性的模型铺平道路，提供了形成超级智能的可能路线。
与OpenAI的GPT-4 相比，DeepSeek-R1-Zero在推理任务上表现出了显著的改进。例如，在AIME 2024 基准（推理能力测试）上，DeepSeek-R1-Zero的性能从15.6%跃升至71.0%，这表明R1-Zero的无SFT推理训练方法是有效的。
5.2 DeepSeek-R1的训练流程
DeepSeek-R1 的训练过程分为4个阶段，包括使用数千高质量CoT示例进行SFT的冷启动，面向推理的强化学习，通过拒绝抽样的SFT，面向全场景任务的强化学习与对齐。
两个SFT阶段进行推理和非推理能力的能力植入，两个强化学习阶段旨在泛化学习推理模式并与人类偏好保持一致。
DeepSeek-R1训练流程（来源：中存算）
5.2.1 冷启动（Cold Start）：CoT SFT
与R1-Zero不同，R1首先基于DeepSeek-V3-Base进行有监督精调（SFT），以克服强化学习的早期不稳定。DeekSeek认为这种基于人类先验知识冷启动并进行迭代训练的方式更适合推理模型。
由于这一训练阶段主要采用CoT数据，我们更喜欢将其称为CoT SFT。
为构建少量的长CoT数据，DeepSeek探索了几种合成方法：使用长CoT 的few-shot提示作为示例，直接提示模型通过反思和验证生成详细回答，以可读格式收集DeepSeek-R1-Zero 输出，并通过人工标注员的后处理来完善结果。在此步骤中收集了数千个冷启动样本以进行精调。
其中可读模式指为每个回答在末尾包含一个摘要，并过滤掉不易阅读的部分。其输出格式为 |special_token|<reasoning_process>|special_token|。
5.2.2 面向推理的强化学习
在基于冷启动数据对V3-Base 精调后，采用与R1-Zero相当的强化学习训练流程，基于GRPO进行强化学习，根据准确度和格式进行训练奖励。为了解决语言混杂问题，还在强化学习训练中引入了语言一致性奖励，该奖励以CoT中目标语言单词的比例计算。
此阶段主要提升模型的推理（Reasoning）性能，特别是在编码、数学、科学和逻辑推理等推理密集型任务，这些任务涉及定义明确且解决方案明确的问题。
5.2.3 拒绝采样与SFT
这是另一个使用标记数据的有监督精调 (SFT)训练阶段，分批进行了两个epoch的精调，样本量为800k。800k中包括600k推理数据和200k非推理数据。
与主要侧重于推理的冷启动数据不同，此阶段结合了来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。
拒绝采样（Rejection Sampling）提供了一种桥梁，使用易于采样的分布来近似训练真正感兴趣的复杂分布。目标响应（ground-truth）从一组生成的回答经过拒绝采样生成，其分数由奖励系统确定。
拒绝采样（Rejection Sampling）是一种蒙特卡洛方法，和重要性采样一样，都是在原始分布难以采样时，用一个易于采样的建议分布进行采样，通过拒绝原始分布之外的采样数据来获得采样结果。拒绝采样只是为了解决目标分布采样困难问题，该方法需要原始分布是已知的。
拒绝采样示意（来源：互联网）
600k推理数据的生成：
1）通过从上一轮强化学习训练的检查点进行拒绝抽样，整理推理提示并生成推理轨迹（Reasoning Trajectories）。
2）除基于规则奖励进行评估的数据外，还包括了基于奖励模型的V3判断生成数据。
3）过滤掉了混合语言、长段落和代码块的思路链数据。
4）对于每个提示（Prompt），会生成多个回答，然后并仅保留正确的响应。
200k非推理数据的生成（如写作、事实问答、自我认知和翻译等）：
1）采用DeepSeek-V3流程并复用V3 的部分 SFT 数据集。
2）可调用V3生成潜在的思路链，再通过提示回答。
3）对于更简单的查询（例如“你好”），不提供CoT回答。
5.2.4 面向全场景的强化学习与对齐
最后，再次进行面向全场景的强化学习和人类偏好对齐，以提高模型的有用性和无害性，并完善推理能力。此阶段还整合了来自不同管道的数据，将奖励信号与不同的提示分布相结合。
1）使用奖励信号和多种提示分布（Diverse Prompt Distributions）的组合来训练模型。
2）对于推理数据，利用基于规则的奖励来指导数学、代码和逻辑推理领域的训练过程。
3）对于一般数据，采用奖励模型来捕捉复杂微妙场景中的人类偏好。即参考DeepSeek-V3 管训练流程，采用类似的偏好对和训练提示分布。
4）对于有用性，只关注最终摘要，以确保重点响应对用户的实用性和相关性，最大限度减少对底层推理过程的干扰。
5）对于无害性，评估模型的整个响应，包括推理过程和摘要，以识别和减轻生成过程中可能出现的潜在风险、偏见或有害内容。
至此已完成R1的完整训练过程，获得了具备全场景推理能力的通用MoE模型，上下文长度均为128K。
| Model | #Total Params | #Activated Params | Context Length |
|---|---|---|---|
| DeepSeek-R1-Zero | 671B | 37B | 128K |
| DeepSeek-R1 | 671B | 37B | 128K |
5.3 从MoE回归Dense（蒸馏SFT）
尽管MoE架构有各种优点，特别是在通用的to C领域具备低成本的优势。但是MoE的架构特点使得其可能不太适用于专业应用场景（例如单一专家场景）和资源限制场景（例如端侧推理）。
蒸馏是将复杂的大型神经网络压缩为更小、更简单的神经网络，同时尽可能多的保留结果模型的性能的过程。此过程涉及训练较小的“学生“神经网络，通过其预测或内部表示的精调来学习模拟更大、更复杂的“教师”网络的行为。
模型蒸馏方法（来源：互联网）
为了能够将推理能力迁移到MoE架构不适合的场景，DeepSeek选择Llama和Qwen系列开源大模型进行蒸馏，使相应的Dense模型也能获得推理能力。与使用强化学习相比，直接SFT更适合较小的大模型，蒸馏完成的Dense模型推理能力明显好于原开源模型。
DeepSeek-R1-Distill模型（来源：DeepSeek）
| Model | Base Model |
|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B |
| DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B |
| DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B |
| DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B |
| DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B |
| DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct |
5.4 更大显存容量显得尤为重要？
随着MoE架构大模型的快速推广，产业界也有看法认为在单块GPU上集成更大的超过对等算力的显存或扩展存储显得尤为重要。
我们对此持不同看法，首先要看产品应用场景占有率，其次要看实际的部署方案，最后要看成本比较：
1）根据前面分析，目前主力的专业行业应用仍是使用Dense模型，能部署MoE模型的通用AI巨头早已下场完成部署，从目前的应用比例来看，使用Dense模型的依然占据应用主体。对于Dense模型（实际上是单专家的特例），超过对等算力的单卡大显存或扩展存储容易形成浪费。
同样模型性能下MoE模型需要更大的显存（来源：Meta）
2）根据从厂商和V3论文获得的实际部署方案，为保证MoE部分不同专家之间的负载均衡，会将共享专家和高负载的细粒度专家在集群的不同GPU做多个复制，让GPU把更多的热数据（发给共享专家的）跑起来，V3部署中每个GPU大概托管9个专家。如果考虑这9个专家中有一个是参数最多的共享专家，那么事实上每块GPU上的空闲细粒度专家占据的参数总和可能不超过单块GPU上总参数量的1/3。
MoE的跨GPU部署模式（来源：微软）
3）从成本上看，可能把一部分专家放到CPU上更划算。我们认为MoE上的专家可以分为高频专家、中频专家，低频专家。高频专家和中频专家搭配部署在GPU上比较合适，低频专家调度很少，更适合放在服务器上已有的闲置CPU的内存上（CPU上的标准内存比GPU的HBM便宜很多，扩展性更好），以充分利用全服务器的算力降低综合成本。
MoE模型的GPU+CPU混合部署（来源：Meta）
另外，R1自己都做Dense模型的蒸馏版本了，我们为何还要纠结于高于对等算力带宽的超大显存？