6 结语
6.1 DeepSeek的关键贡献
DeepSeek由梁文锋于2023 年5月创立，公司独立运营，并由幻方支持研发资金。这种独特的模式使DeepSeek能够在没有外部投资者压力的情况下开展跨越式的人工智能研发，优先考虑长期研发和价值。
成立6个月后，DeepSeek于2023年11月发布的DeepSeek Coder，随后是 DeepSeek LLM 67B，DeepSeek逐渐踏上了基础大模型的竞争赛道。2024年5月推出的DeepSeek-V2就呈现出MLA和AI Infra技术的明显领先优势，极具性价比，引发了中国大模型市场的价格跳水和血拼。
在V2发布后，我们就已经关注到DeepSeek在算法-硬件协同优化方面的出色表现。主编作者在2024年6月，为前来咨询的投资人推荐DeepSeek的高性价比路线。
V3和R1发布并开源后，DeepSeek进一步巩固了其在MoE性价比和AI Infra的地位，并以开源模型中几乎最出色的推理性能，赢得社会的广泛关注。
对于R1/V3的主要创新，可以参考下表：
DeepSeek-R1/V3的主要创新（来源：中存算）
| R1/V3的优化 | R1/V3的创新与价值（实现了与 OpenAI-o1-1217 相当的性能） | 其他开源大模型（相当于Llama3.3的性能） |
|---|---|---|
| 软硬件结合，提高模型计算效率降低成本 | 提出MLA，通过将键值 (KV) 缓存显著压缩为潜在向量来保证高效推理 | 采用GQA或MHA，占用KV缓存比MLA大一个数量级 |
| 减少冗余，提高模型计算效率降低成本 | 提出DeepSeekMoE，采用细粒度专家分割和共享专家隔离，减少冗余的专家参数 | 采用粗粒度专家，模型参数冗余大 |
| 改进算法，提高训练效率 | 提出无辅助损失策略 ，改善MoE模型训练 | 采用常规辅助损失策略，容易训练失败 |
| 简化算法，提高训练效率 | 采用GRPO进一步使模型与人类偏好对齐，提高训练效率 | 采用PPO，训练效率不高 |
| 软硬件结合，提高训练效率 | 基于开源代码开发自有的FP8混合精度训练框架，提升训练效率 | 传统开源训练框架，以BF16或FP32为主，显存占用超过FP8，训练速度较慢 |
| 软硬件结合，提高训练效率 | DualPipe算法来实现高效的流水线并行 | 默认流水线并行算法，气泡较多 |
| 软硬件结合，提高训练效率 | 跨节点All-to-All通信内核，使用PTX编程以充分利用InfiniBand（IB）和NVLink带宽 | 默认通信内核， |
| 改进数据，提高模型性能 | 使用长思维链(CoT)数据进行模型训练，提升模型能力 | 几乎无长思维链训练 |
我们经过分析，认为DeepSeek的算法架构能力已经达到国际一线水平（例如MLA和GRPO算法），而其AI Infra团队的软硬件协同设计水平（例如FP8训练框架和基于PTX进行All-to-All通信内核优化）和自由探索，可能已暂时超越大部分国际大模型企业。基本上DeepSeek团队对GPU的性能使用率已接近技术上限，实现了在现有GPU体系内的软件Sacle-up。
如果有这样超越其他大厂一个数量级的训练效率提升，估计很多大模型炼丹师梦里都要乐开花了。
6.2 R1的出现是国运级的贡献吗？
有人提出DeepSeek所作的工作可能是一种国运级别的科技成果。
作为本文的主编作者，我个人只在小时候看过一点点梅花易数的介绍，对于推算国运的太乙神数一直没有机会了解和获得传承，不好随意讲这是不是国运级的成果。
我对最近DeekSeek的影响力传播看法如下：
1）对DeepSeek的成果，特别是V3/R1开源，应有产业的高度肯定。但过度褒扬对DeekSeek大概率是不利的甚至是极为有害的，会导致专心做事的人要疲于应付各种俗务，也大概率导致DeepSeek招致美国商务部的打压。
2）梁文锋本人一贯低调，在创立幻方后那么多年，几乎没有出来宣传或炒作。媒体和社会如能参考DeepSeek创始人的个人行事风格，给更多类似DeepSeek的本土人才和企业予以支持，会更有利于国运。
3）脱离实际技术分析的对DeepSeek的评判多数是雾里看花，少一些人与亦云的评判，多一些实干，对所有心怀理想的人都是好事。
4）会有比R1更颠覆性的先进大模型出现。如同前几年的热炒OpenAI和Kimi，技术总会不断进步，对于DeepSeek来说，还有更加重要的目标和星辰大海，R1仅仅是海边新发现的璀璨贝壳。
5）是否是对OpenAI模型的蒸馏根本不重要。学习和参考是人类社会进步的阶梯，开源更是对大模型技术进步的头号贡献。一两家闭源巨头大概率没有足够的资源储备来推动人类AGI的颠覆式发展，只有更多的DeepSeek这样的力量贡献到开源社区，才能形成合力实现超级人工智能。
6.3 对于国产AI芯片的启示
DeepSeek的进步和成果，也给国产AI芯片的发展提供了一些启示。
一方面，一级市场需要升级投资逻辑，不用再崇洋媚外。事实证明纯本土的研发团队，甚至是纯本土新人团队，完全由能力做出有国际影响力的成果和产品。国内算法不再死跟着老美屁股后面，国内的AI芯片也大可不必死跟着英伟达做传统GPU。新的架构AI芯片，新的GPU架构，跨领域的技术融合，正形成新的产业窗口。
另一方面，DeepSeek的技术成果，事实也凸显出算力对模型进步的重要性。DeepSeek的算法进步速度之快，与其算力使用效率比其他团队高约一个数量级有非常密切的关系。（当然DeepSeek可使用的算力总量也不低）在这样的一个算法大发展契机，尽快发展新架构AI芯片，发展3D封装集成，发展高速互连，发展开源编译生态，抢占MoE模型发展期的技术红利，对中国的芯片产业就显得尤为重要。
上篇请看：陈巍：DeepSeek是否有国运级的创新？从V3到R1的架构创新与误传的万字长文分析（上）438 赞同 · 26 评论文章
来源：https://zhuanlan.zhihu.com/p/22496725607?utm_source=chatgpt.com