AI大模型服务器运维实战码士集团官网

章节1:构建AI大模型运行的k8s集群 (9节)

课时01

分享内容介绍

免费试学

3分33秒

课时02

带GPU主机获取方法-本地主机

免费试学

7分12秒

课时03

带GPU主机获取方法-公有云主机

免费试学

23分12秒

课时04

Nvidia Drive与CUDA Toolkit关系说明

16分13秒

课时05

k8s集群主机准备

6分35秒

课时06

容器管理工具准备

9分43秒

课时07

安装NVIDIA容器工具包及使用

18分6秒

课时08

k8s集群部署过程

17分18秒

课时09

部署NVIDIA Device Plugin及GPU使用测试

10分40秒

章节2:k8s集群部署ollama使用deepseek大模型 (8节)

课时10

分享内容介绍

2分51秒

课时11

k8s集群主机准备

10分25秒

课时12

k8s集群容器管理工具准备

9分36秒

课时13

k8s集群初始化及可用性验证

17分55秒

课时14

k8s集群负载均衡器准备

4分54秒

课时15

k8s集群服务代理Gateway API准备

10分7秒

课时16

k8s集群后端存储准备

17分7秒

课时17

使用ollama运行deepseek并验证可用性

32分37秒

章节3:本地化部署vLLM及运行大模型 (11节)

课时18

分享内容介绍

3分56秒

课时19

vLLM简单介绍

4分54秒

课时20

带GPU主机获取方式

6分39秒

课时21

安装miniconda虚拟环境工具

17分23秒

课时22

安装nvidia gpu驱动

27分41秒

课时23

安装cuda-toolkit工具套件

13分20秒

课时24

安装pytorch基础设施

9分43秒

课时25

安装vLLM推理框架

9分47秒

课时26

获取大模型文件

6分55秒

课时27

运行vllm api服务

17分37秒

课时28

使用测试案例验证可用性

6分43秒

章节4:容器化部署和使用vLLM (6节)

课时29

分享内容介绍

2分14秒

课时30

带GPU主机获取及驱动安装

30分32秒

课时31

安装Docker容器管理工具

10分11秒

课时32

安装NVIDIA Container Toolkit

10分3秒

课时33

使用容器运行vLLM及可用性验证

20分36秒

课时34

使用docker-compose运行vllm及open webui

24分38秒

章节5:k8s集群部署及使用vLLM运行大模型 (15节)

课时35

分享内容介绍

3分1秒

课时36

k8s集群主机准备

41分53秒

课时37

k8s集群节点容器管理工具准备

20分49秒

课时38

NVIDIA容器工具包准备

13分20秒

课时39

k8s集群初始化全过程

16分59秒

课时40

k8s集群网络插件部署及可用性验证

10分41秒

课时41

NVIDIA设备插件实现GPU注册

6分18秒

课时42

k8s集群后端持久存储准备

9分16秒

课时43

k8s集群部署vLLM及访问测试

24分2秒

课时44

k8s集群部署open webui及使用测试

10分54秒

课时45

部署Prometheus监控系统前期准备

8分33秒

课时46

部署Prometheus监控系统

20分2秒

课时47

部署GPU监控组件及查看vLLM监控指标

6分29秒

课时48

添加GPU及vLLM监控规则

9分14秒

课时49

添加GPU及vLLM监控仪表盘

19分43秒

章节6:本地部署SGLang及运行大模型 (10节)

课时50

分享内容说明

更新时间：2026-01-25

1分9秒

课时51

SGLang介绍

更新时间：2026-01-25

5分59秒

课时52

SGLang运行环境准备

更新时间：2026-01-25

2分34秒

课时53

带GPU主机获取方式

更新时间：2026-01-25

6分23秒

课时54

虚拟环境工具Conda准备

更新时间：2026-01-25

15分35秒

课时55

NVIDIA GPU驱动安装

更新时间：2026-01-25

27分22秒

课时56

SGLang安装

更新时间：2026-01-25

8分12秒

课时57

SGLang运行

更新时间：2026-01-25

11分43秒

课时58

SGLang使用测试

更新时间：2026-01-25

18分16秒

课时59

SGLang运行时GPU基本运行维护

更新时间：2026-01-25

3分40秒

章节7:docker运行SGLang及运行大模型 (8节)

课时60

分享内容说明

更新时间：2026-01-25

1分27秒

课时61

SGLang运行环境准备

更新时间：2026-01-25

1分41秒

课时62

带GPU主机获取及GPU驱动安装

更新时间：2026-01-25

30分27秒

课时63

容器管理工具Docker安装

更新时间：2026-01-25

9分47秒

课时64

NVIDIA容器工具安装及使用

更新时间：2026-01-25

10分3秒

课时65

使用docker容器运行SGLang

更新时间：2026-01-25

34分52秒

课时66

使用docker-compose运行SGLang

更新时间：2026-01-25

11分30秒

课时67

容器运行SGLang实现负载均衡

更新时间：2026-01-25

15分48秒

章节8:使用k8s部署SGLang运行大模型 (12节)

课时68

分享内容说明

更新时间：2026-01-25

2分44秒

课时69

k8s集群节点准备

更新时间：2026-01-25

41分45秒

课时70

k8s集群节点容器管理工具准备

更新时间：2026-01-25

20分38秒

课时71

NVIDIA容器工具包准备及配置Docker

更新时间：2026-01-25

13分20秒

课时72

k8s集群初始化全过程

更新时间：2026-01-25

16分59秒

课时73

k8s集群网络插件部署

更新时间：2026-01-25

10分41秒

课时74

NVIDIA设备插件部署实现GPU注册

更新时间：2026-01-25

6分15秒

课时75

k8s集群后端存储

更新时间：2026-01-25

8分50秒

课时76

k8s部署sglang及open webui

更新时间：2026-01-25

33分22秒

课时77

Prometheus监控系统安装

更新时间：2026-01-25

13分8秒

课时78

部署GPU监控组件及暴露sglang监控指标

更新时间：2026-01-26

20分21秒

课时79

监控与数据仪表盘及告警规则

更新时间：2026-01-26

29分29秒