课程介绍
课程章节
章节1: PEFT 大模型高效微调理论 (5节)

课时01

微调、提示词工程、RAG 均为提高大模型质量的技术手段

免费试学

10分15秒

课时02

传统大模型训练(微调)流程

免费试学

10分2秒

课时03

微调与 RAG 区别、微调的优势

免费试学

11分17秒

课时04

指令数据集构造方式

免费试学

8分54秒

课时05

PEFT 与传统微调区别、PEFT 不同方法

免费试学

8分54秒

章节2: PEFT 之整体流程代码实战 + BitFit 算法实现 (8节)

课时06

模块导入与加载数据集

免费试学

14分21秒

课时07

分词器的加载与使用

免费试学

10分12秒

课时08

构建训练所需样本格式

10分10秒

课时09

调用封装好的函数对数据预处理

6分31秒

课时10

加载模型、统计模型参数量

10分25秒

课时11

Bitfit 算法实现

7分9秒

课时12

配置训练参数、创建训练器及训练

12分58秒

课时13

查看显存在程序执行过程中的变化

12分45秒

章节3: PEFT 之 Prompt Tuning 理论 + 实战 (10节)

课时14

理解 Soft Prompt Learning

10分17秒

课时15

Task-Specific Soft Prompt

7分32秒

课时16

Virtual Tokens 的初始化

7分43秒

课时17

Virtual Tokens 的训练

10分17秒

课时18

高效的多任务 Serving

10分23秒

课时19

Prompt Tuning 的特性及优缺点

13分38秒

课时20

实战创建 config 和 peft 模型

14分55秒

课时21

输入文本作为初始化参数以及训练

9分45秒

课时22

使用模型进行推理

7分8秒

课时23

加载已有 checkpoint 进行模型推理

7分54秒

章节4: PEFT 之 P-Tuning 理论 + 实战 (3节)

课时24

理解 P-Tuning

6分0秒

课时25

设置 PromptEncoderConfig 与查看 PromptEncoder 源码

10分22秒

课时26

P-Tuning 模型训练和推理

8分19秒

章节5: PEFT 之 Prefix Tuning 理论 + 实战 (3节)

课时27

掌握 Prefix-tuning 原理

10分10秒

课时28

Prefix-tuning 只会影响 MHA 中的 K 和 V

3分3秒

课时29

Prefix-tuning 配置以及模型训练

19分5秒

章节6: PEFT 之 LoRA 理论 + 实战 (3节)

课时30

LoRA 的设计思想是学习 ΔW

8分7秒

课时31

Low-Rank 低秩分解与上线时的模型融合

15分39秒

课时32

LoRA 配置与模型训练

17分55秒

章节7: PEFT 之 IA3 理论 + 实战 (3节)

课时33

用一张图总结讲过的 PEFT 方法

10分51秒

课时34

理解 IA3

7分0秒

课时35

IA3 代码实战

12分32秒

章节8: PEFT 进阶操作 (5节)

课时36

自定义模型的 PEFT 微调

5分46秒

课时37

多适配器的加载

7分21秒

课时38

多适配器间切换

11分14秒

课时39

禁用适配器以得到原始模型输出

3分6秒

课时40

适配器与大模型的 merge 融合

13分40秒

个问题,0回答
提问
暂无提问,赶紧去提问吧~