深度解读DeepSeek架构:原理与效应 2025

接待关注
天生式AI:2014——2024

天生式AI: 使用天生式模型天生各类数据(语言、语音、图片、视频等)
Attention: 数据依存关系建模

Transformer: 数据天生的统一架构

Scaling Laws: 数据学习、天生的扩展法则

RLHF: 天生与人类代价对齐的数据

o1/R1: 天生式求解问题——天生问题求解的过程和答案(推理)

自然语言处理与语言模型

自然语言处理: 人类语言的智能化，简 处理与分析，使盘算机具备听、说、 读、写、译等人所具备的语言本领

语言模型:自然语言统计建模,简朴说，就是预测句子中的下一个单词是什么。
大语言模型:2018——2024

大语言模型:技术栈

1. 大语言模型:生命周期与范式

复制代码

扩展法则

大语言模型:后训练范式

推理语言模型?

DeepSeek:2023—2025

DeepSeek:技术创新——模型架构 | V2

DeepSeek:技术创新——模型架构| V2

DeepSeek:技术创新——模型架构| V3

DeepSeek:技术创新——模型架构| V3

DeepSeek:技术创新——模型架构| V3本钱

DeepSeek:技术创新——创新程度
DeepSeek V2-V3及R1在模型架构上选择希罕MoE模型而非稠密模型，并举行和积 累了大量技术创新，包括MLA、FP8训练、MoE All-to-All通信瓶颈办理、MTP等， 这些技术并不是所有都是原始创新，但是能够举行云云多大模型架构底层创新的实 验室，在全天下可能也只有少数几个。
DeepSeek所有模型架构上的创新均是围绕“降本增效”:在根本不损害性能条件 下，尽可能通过算法发掘和提升硬件训练和解码效率。
老美接纳芯片禁令(环球三级管控)策略维持自己的AI领导地位，DeepSeek算法绕过了美国的算力护城河。
DeepSeek:技术创新——推理模型| R1
DeepSeek R1重要创新

• DeepSeek-R1-Zero: 大规模RL训练，发现了RL训练的Scaling Laws，RL训练涌现“aha”时刻；
  
• 推理模型训练技术框架: 4步法，有用办理了R1-Zero存在问题，将推理与对齐合为一体；
  
• 强化学习训练框架: GRPO，来自DeepSeekMath，降低了强化学习训练本钱；
  
• 推理模型蒸馏: 将大模型推理本领蒸馏到小模型，优于小模型直接举行推理训练(规模效应)；
  

为什么MCTS+PRM是“误区”

• The bitter lesson: scalability
  
• OpenAI竞争策略
  

DeepSeek的技术创新体系展现了一条独特的AI发展路径，其核心是通过架构革新与算法突破在算力受限环境下实现高效能突破。以下从技术架构、效率优化、算力突围、推理革新四个维度举行拆解：
一、模型架构的颠覆性重构
希罕MoE架构的选择标志着与传统Transformer的决裂：
动态路由机制：通过门控网络实现专家模型的动态激活，相比稠密模型降低30%以上盘算负载
通信瓶颈突破：独创的All-to-All通信优化算法使千卡级训练效率提升47%，办理MoE架构扩展困难
混合精度革命：FP8训练系统在保持模型精度的同时，内存占用降低40%，训练速度提升2.3倍
二、降本增效的技术闭环
技术创新形成效率飞轮：
MLA（多维注意力优化）：重构注意力盘算图，单层推理延迟降低18%
MTP（模型张量并行）：突破传统模型并行限制，实现92%的硬件利用率
能耗比革命：同等参数目下，单位算力输出效能较行业基准提升4.8倍
三、算力封锁下的突围路径
在A100/H100受限环境下构建新范式：
算法-硬件协同设计：通过盘算图优化使3090集群到达A100 80%训练效率
动态希罕盘算：利用激活希罕性实现有用算力密度提升
跨代际硬件适配：开发异构盘算框架，混合多代GPU仍保持85%集群效率
四、推理模型的范式革命
R1系列重塑推理模型技术栈：
RL Scaling Laws：发现强化学习阶段参数效率跃迁点，训练本钱降低60%
GRPO框架：将策略梯度方差降低70%，实现小样本强化学习
蒸馏突破：构建多维蒸馏丧失函数，使7B模型到达原有13B模型94%推理本领
五、技术门路的战略选择
MCTS+PRM的替换路径：通过动态代价网络替换传统搜索树，内存开销降低两个数目级
可扩展优先原则：所有技术设计预留10倍以上扩展空间，支持千亿级参数动态扩展
OpenAI对标策略：在训练效率、单位算力产出等核心指标建立比较优势
这种技术体系的代价在于构建了算法突破-硬件适应-效率提升的正向循环。比方，FP8训练与MoE架构的结合，使得在同等硬件条件下可训练参数目提升3倍；GRPO框架与蒸馏技术的共同，让中小模型获得近似大模型的推理本领。
这种多维技术叠加效应，实质是在重新定义AI竞赛的规则——从单纯追求算力规模转向算法密度竞争。
当行业陷入"暴力盘算"竞赛时，DeepSeek的技术门路展示了另一种可能性：通过架构创新将算法效率提升转化为实质性的代际差优势。
DeepSeek:技术创新——推理模型| R1-Zero

DeepSeek:技术创新——推理模型| R1 Recipe

DeepSeek:技术创新——推理模型| RL
1.强化学习框架GRPO(DeepSeekMath)
采用蒙特卡洛采用估算以取代Value模型，降低 盘算和存储开销

2.强化学习奖励模型
采用easily verifiable rewards

• Accuracy reward
  
• Format reward
  
• Language-consistency reward
  

避免过程奖励模型:盘算复杂，容易reward hacking
DeepSeek:技术创新——推理模型|推理本领蒸馏

推理模型蒸馏到小模型

• reasoning本领可以蒸馏到小模型
  
• 大模型蒸馏到小模型优于小模型直接通过大规模RL训
  
• 再次验证了模型规模在AGI发展中的重要性
  
• 推理者同样须要规模支撑
  

DeepSeek:技术创新——推理模型| R1

DeepSeek:技术创新——推理模型| R1

DeepSeek: 技术创新——创新程度
DeepSeek R1是在探明方向(OpenAI o1引领和证明的方向)上举行0-1的创新突 破，独立探索出基于大规模强化学习的大语言模型推理技术门路，避开了已往一年 多(自OpenAI的Q*在交际媒体讨论)业内广泛思索的通过在训练中举行显式搜索、 过程奖励模型(即Search+PRM)实现推理的“误区”。
贡献:

• 独立探索出推理技术门路
  
• 将技术门路公开发布(解惑了业内的“不知”)o模型开源(MIT License)
  

DeepSeek R1打破了美国第一梯队企业以闭源形成的技术护城河，进一步动摇 了美国的“AIDominance”。
DeepSeek: 效应

DeepSeek:效应——算力代价战

DeepSeek:效应——开源vs闭源

DeepSeek:效应——认知误区
假如ChatGPT刷新了我们对AI的认知，那么DeepSeek在某种程度上颠覆了:

• 美国人对中国AI水平的认知: 长久以来，美国以为中国在AI科技创新上更多是跟随者角色
  
• 大模型研发本钱的认知: 大模型研发本钱须要数千万乃至上亿美元
  

DeepSeek:效应——创新&人才&Vision

DeepSeek V3和R1的创新，从技术上看，是在探明方向上的较大创新，相比别人同期做的1-100要 更创新，笔者将其定义为探明技术方向上的0-1创新(独立探索出技术门路)，但不是颠覆了原有技 术框架或者开辟了新的方向。探明方向上的0-1创新，假如有充足多的第一类人才，加上充足多的算 力和高超的人才管理，是可以实现的，DeepSeek的成功正是得益于此。
技术方向已经被探明白的“追赶”相对容易，难的是在前面面向未知开路，即在未探明方向、未有概 念上举行0到1创新、或者举行概念形成和验证，这方面的创新是要更多胆量、更多vision、更多不 计本钱投入才气做到的，同时须要第二类人才与第一类人才精密合作，形成双反馈。
来实现AGI可能还须要3-5个在未探明方向上举行0-1的创新突破;我国假如要在2030年实现 “人工 智能理论、技术与应用总体到达天下领先水平”，须要更多企业、高校、研究机构开展探明方向和未 探明方向上的0-1创新。
未来…

AGI Path

科学(研究/发现)范式

DeepSeek R2→Deep Science

AI Safety

AI大模型学习门路

假如你对AI大模型入门感兴趣，那么你须要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！
扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零底子到进阶的学习门路大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，解说大模型的重要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建恰当当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小步伐案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型贸易化落地方案

大模型全套视频教程

200本大模型PDF书籍