课时01

01_DeepSeekV1 摘要与介绍

课时02

02_DeepSeekV1 架构和预训练

课时03

03_关于 Scaling Laws 的新发现

课时04

04_DeepSeekV1 后训练与评估

课时05

05_针对 DeepSeekV1 的探讨与总结

课时06

06_DeepSeekV2 整体介绍

课时07

07_DeepSeek 之多头潜在注意力机制 MLA

课时08

08_多头潜在注意力中的矩阵融合、RoPE解耦

课时09

09_通过图示讲解 MLA 整体流程

课时10

10_比较不同注意力机制对于 KV cache 的占用

课时11

11_DeepSeek 架构之混合专家系统 MOE

课时12

12_DeepSeekMOE 中的设备受限路由机制

课时13

13_DeepSeekV2 中添加的额外损失、Token 丢弃策略

课时14

14_DeepSeekV2 模型的预训练、长上下文扩展

课时15

15_DeepSeekV2 模型的后训练以及其中用到的GRPO算法

课时16

16_关于 DeepSeekV2 的探讨和总结

课时17

17_DeepSeekV3 技术报告的详细介绍

课时18

18_对V2模型MOE的变化、Loss-Free 负载均衡、额外损失、节点受限路由

课时19

19_DeepSeekV3 引入多Token预测机制 MTP

课时20

20_DeepSeekV3 之 FP8 混合精度训练

课时21

21_LLM推理部署之预填充和解码 Prefill&Decoding

课时22

22_DeepSeekV3 预训练参数设置与长上下文扩展

课时23

23_DeepSeekV3 后训练步骤、讨论、总结

课时24

24_DeepSeekR1 论文摘要和整体介绍

课时25

25_DeepSeekR1-Zero模型和有趣的顿悟时刻

课时26

26_DeepSeekR1 模型4阶段训练、基于它的知识蒸馏

课时27

27_DeepSeekR1 讨论与总结

课时28

28_创建节点并下载模型

课时29

29_运行环境的安装和模型加载

课时30

30_微调前使用模型进行推理

课时31

31_训练数据的处理与加载

课时32

32_对模型进行有监督微调

课时33

33_使用训练后模型进行推理预测

课时34

34_准备训练模型与动态给模型添加GRPO组件

课时35

35_HF数据集本地使用、训练数据集的预处理

课时36

36_自定义多种评分函数 Reward Functions

课时37

37_GRPO 超参数设置与模型训练

课时38

38_GRPO 算法微调可用于非 DeepSeek 模型

课时39

39_训练阶段整合 vllm 推理引擎

课时40

40_训练后模型预测、模型保存与参数合并

课时41

Residual Connection 及其优势

课时42

Hyper Connection 网络结构

课时43

mHC 基于 Hyper Connection 的改进

课时44

pytorch 实现 mHC 网络结构