课时01

模型训练 GPU 空间占用的计算

更新时间：2024-09-18

课时02

如何降低模型本身对 GPU 空间的占用

更新时间：2024-09-18

课时03

代码实战通过 modelscope 下载模型文件

更新时间：2024-09-18

课时04

半精度 float16 和其优势

更新时间：2024-09-18

课时05

上溢出和下溢出、启用半精度的方法

更新时间：2024-09-18

课时06

LLaMA3.1 介绍与不同版本区别

更新时间：2024-09-21

课时07

LLaMA3.1 整体概览与模型架构升级

更新时间：2024-09-21

课时08

代码实战之导包和数据预处理

更新时间：2024-09-21

课时09

Llama3.1-8B 模型加载

更新时间：2024-09-21

课时10

半精度模型本地训练

更新时间：2024-09-21

课时11

租用云端服务器和 vscode 远程登陆

更新时间：2024-09-23

课时12

云端服务器下载 Llama3.1 模型

更新时间：2024-09-23

课时13

学会云端服务器之克隆实例的妙用

更新时间：2024-09-23

课时14

云端服务器运行 Llama3.1 半精度训练

更新时间：2024-09-23

课时15

模型训练优化技巧之开启梯度检查点

更新时间：2024-09-23

课时16

Llama3.1 模型训练细节总结

更新时间：2024-09-26

课时17

因果模型 CausalLM 与前缀模型 PrefixLM 的区别

更新时间：2024-09-26

课时18

GLM4 架构涉及的技术点与 GLM family

更新时间：2024-09-26

课时19

作为 PrefixLM 的 GLM 模型是怎样预训练的

更新时间：2024-09-26

课时20

GLM4 模型训练时该如何组织数据

更新时间：2024-09-26

课时21

云服务器 GLM4 模型下载和升级 transformers 模块

更新时间：2024-10-01

课时22

云服务器跨实例拷贝大模型 GLM4

更新时间：2024-10-01

课时23

测试加载 GLM4 分词器与模型

更新时间：2024-10-01

课时24

构建测试数据并且使用GLM4进行推理

更新时间：2024-10-01

课时25

组织 GLM4 训练数据

更新时间：2024-10-03

课时26

构建 GLM4 半精度模型以及 Lora 模型

更新时间：2024-10-03

课时27

GLM4 模型半精度训练及数值下溢问题的解决

更新时间：2024-10-03

课时28

批次变大后模型训练内存溢出的解决和训练后模型推理

更新时间：2024-10-03

课时29

量化与最大绝对值量化

更新时间：2024-10-21

课时30

零点量化与离群值对量化的影响

更新时间：2024-10-21

课时31

混合精度分解量化

更新时间：2024-10-21

课时32

8 bit 量化模型训练实战

更新时间：2024-11-06

课时33

4 bit 模型量化存在的问题

更新时间：2024-11-06

课时34

探究大模型权重整体分布

更新时间：2024-11-06

课时35

分位数量化

更新时间：2024-11-07

课时36

QLoRA

更新时间：2024-11-07

课时37

QLoRA 代码实战

更新时间：2024-11-07