课程介绍
课程章节
章节1: 模型训练时显存占用问题 (2节)

课时01

模型训练 GPU 空间占用的计算

16分17秒

课时02

如何降低模型本身对 GPU 空间的占用

13分45秒

章节2: 从 ModelScope 魔搭社区获取模型 (1节)

课时03

代码实战通过 modelscope 下载模型文件

17分20秒

章节3: 半精度 half precision 模型训练 (2节)

课时04

半精度 float16 和其优势

12分19秒

课时05

上溢出和下溢出、启用半精度的方法

12分42秒

章节4: LLaMA 3.1 模型训练实战 (11节)

课时06

LLaMA3.1 介绍与不同版本区别

11分23秒

课时07

LLaMA3.1 整体概览与模型架构升级

13分40秒

课时08

代码实战之导包和数据预处理

16分36秒

课时09

Llama3.1-8B 模型加载

11分1秒

课时10

半精度模型本地训练

12分31秒

课时11

租用云端服务器和 vscode 远程登陆

16分38秒

课时12

云端服务器下载 Llama3.1 模型

12分45秒

课时13

学会云端服务器之克隆实例的妙用

10分49秒

课时14

云端服务器运行 Llama3.1 半精度训练

14分3秒

课时15

模型训练优化技巧之开启梯度检查点

13分26秒

课时16

Llama3.1 模型训练细节总结

11分7秒

章节5: ChatGLM 4 模型训练实战 (12节)

课时17

因果模型 CausalLM 与前缀模型 PrefixLM 的区别

12分7秒

课时18

GLM4 架构涉及的技术点与 GLM family

8分18秒

课时19

作为 PrefixLM 的 GLM 模型是怎样预训练的

14分4秒

课时20

GLM4 模型训练时该如何组织数据

12分6秒

课时21

云服务器 GLM4 模型下载和升级 transformers 模块

8分52秒

课时22

云服务器跨实例拷贝大模型 GLM4

9分51秒

课时23

测试加载 GLM4 分词器与模型

9分56秒

课时24

构建测试数据并且使用GLM4进行推理

12分23秒

课时25

组织 GLM4 训练数据

24分47秒

课时26

构建 GLM4 半精度模型以及 Lora 模型

12分20秒

课时27

GLM4 模型半精度训练及数值下溢问题的解决

11分25秒

课时28

批次变大后模型训练内存溢出的解决和训练后模型推理

9分15秒

章节6: 8 bit 量化与模型训练 (4节)

课时29

量化与最大绝对值量化

10分16秒

课时30

零点量化与离群值对量化的影响

12分26秒

课时31

混合精度分解量化

13分31秒

课时32

8 bit 量化模型训练实战

21分39秒

章节7: 4 bit 量化与 QLoRA 模型训练 (5节)

课时33

4 bit 模型量化存在的问题

7分38秒

课时34

探究大模型权重整体分布

14分10秒

课时35

分位数量化

10分42秒

课时36

QLoRA

14分46秒

课时37

QLoRA 代码实战

15分11秒

您没有该体系课权限，需要开通权限请点击联系老师。
联系老师
共个问题,0回答
提问
最新
最热
暂无提问，赶紧去提问吧~