AI大模型服务器运维实战码士集团官网

章节1:构建AI大模型运行的k8s集群 (9节)

课时01

分享内容介绍

更新时间：2026-01-03

3分33秒

课时02

带GPU主机获取方法-本地主机

更新时间：2026-01-03

7分12秒

课时03

带GPU主机获取方法-公有云主机

更新时间：2026-01-03

23分12秒

课时04

Nvidia Drive与CUDA Toolkit关系说明

更新时间：2026-01-03

16分13秒

课时05

k8s集群主机准备

更新时间：2026-01-03

6分35秒

课时06

容器管理工具准备

更新时间：2026-01-03

9分43秒

课时07

安装NVIDIA容器工具包及使用

更新时间：2026-01-03

18分6秒

课时08

k8s集群部署过程

更新时间：2026-01-03

17分18秒

课时09

部署NVIDIA Device Plugin及GPU使用测试

更新时间：2026-01-03

10分40秒

章节2:k8s集群部署ollama使用deepseek大模型 (8节)

课时10

分享内容介绍

更新时间：2026-01-11

2分51秒

课时11

k8s集群主机准备

更新时间：2026-01-11

10分25秒

课时12

k8s集群容器管理工具准备

更新时间：2026-01-11

9分36秒

课时13

k8s集群初始化及可用性验证

更新时间：2026-01-11

17分55秒

课时14

k8s集群负载均衡器准备

更新时间：2026-01-11

4分54秒

课时15

k8s集群服务代理Gateway API准备

更新时间：2026-01-11

10分7秒

课时16

k8s集群后端存储准备

更新时间：2026-01-11

17分7秒

课时17

使用ollama运行deepseek并验证可用性

更新时间：2026-01-11

32分37秒

章节3:本地化部署vLLM及运行大模型 (11节)

课时18

分享内容介绍

更新时间：2026-01-21

3分56秒

课时19

vLLM简单介绍

更新时间：2026-01-21

4分54秒

课时20

带GPU主机获取方式

更新时间：2026-01-21

6分39秒

课时21

安装miniconda虚拟环境工具

更新时间：2026-01-21

17分23秒

课时22

安装nvidia gpu驱动

更新时间：2026-01-21

27分41秒

课时23

安装cuda-toolkit工具套件

更新时间：2026-01-21

13分20秒

课时24

安装pytorch基础设施

更新时间：2026-01-21

9分43秒

课时25

安装vLLM推理框架

更新时间：2026-01-21

9分47秒

课时26

获取大模型文件

更新时间：2026-01-21

6分55秒

课时27

运行vllm api服务

更新时间：2026-01-21

17分37秒

课时28

使用测试案例验证可用性

更新时间：2026-01-21

6分43秒

章节4:容器化部署和使用vLLM (6节)

课时29

分享内容介绍

更新时间：2026-01-21

2分14秒

课时30

带GPU主机获取及驱动安装

更新时间：2026-01-21

30分32秒

课时31

安装Docker容器管理工具

更新时间：2026-01-21

10分11秒

课时32

安装NVIDIA Container Toolkit

更新时间：2026-01-21

10分3秒

课时33

使用容器运行vLLM及可用性验证

更新时间：2026-01-21

20分36秒

课时34

使用docker-compose运行vllm及open webui

更新时间：2026-01-21

24分38秒

章节5:k8s集群部署及使用vLLM运行大模型 (15节)

课时35

分享内容介绍

更新时间：2026-01-21

3分1秒

课时36

k8s集群主机准备

更新时间：2026-01-21

41分53秒

课时37

k8s集群节点容器管理工具准备

更新时间：2026-01-21

20分49秒

课时38

NVIDIA容器工具包准备

更新时间：2026-01-21

13分20秒

课时39

k8s集群初始化全过程

更新时间：2026-01-21

16分59秒

课时40

k8s集群网络插件部署及可用性验证

更新时间：2026-01-21

10分41秒

课时41

NVIDIA设备插件实现GPU注册

更新时间：2026-01-21

6分18秒

课时42

k8s集群后端持久存储准备

更新时间：2026-01-21

9分16秒

课时43

k8s集群部署vLLM及访问测试

更新时间：2026-01-21

24分2秒

课时44

k8s集群部署open webui及使用测试

更新时间：2026-01-21

10分54秒

课时45

部署Prometheus监控系统前期准备

更新时间：2026-01-22

8分33秒

课时46

部署Prometheus监控系统

更新时间：2026-01-22

20分2秒

课时47

部署GPU监控组件及查看vLLM监控指标

更新时间：2026-01-22

6分29秒

课时48

添加GPU及vLLM监控规则

更新时间：2026-01-22

9分14秒

课时49

添加GPU及vLLM监控仪表盘

更新时间：2026-01-22

19分43秒

章节6:本地部署SGLang及运行大模型 (10节)

课时50

分享内容说明

更新时间：2026-01-25

1分9秒

课时51

SGLang介绍

更新时间：2026-01-25

5分59秒

课时52

SGLang运行环境准备

更新时间：2026-01-25

2分34秒

课时53

带GPU主机获取方式

更新时间：2026-01-25

6分23秒

课时54

虚拟环境工具Conda准备

更新时间：2026-01-25

15分35秒

课时55

NVIDIA GPU驱动安装

更新时间：2026-01-25

27分22秒

课时56

SGLang安装

更新时间：2026-01-25

8分12秒

课时57

SGLang运行

更新时间：2026-01-25

11分43秒

课时58

SGLang使用测试

更新时间：2026-01-25

18分16秒

课时59

SGLang运行时GPU基本运行维护

更新时间：2026-01-25

3分40秒

章节7:docker运行SGLang及运行大模型 (8节)

课时60

分享内容说明

更新时间：2026-01-25

1分27秒

课时61

SGLang运行环境准备

更新时间：2026-01-25

1分41秒

课时62

带GPU主机获取及GPU驱动安装

更新时间：2026-01-25

30分27秒

课时63

容器管理工具Docker安装

更新时间：2026-01-25

9分47秒

课时64

NVIDIA容器工具安装及使用

更新时间：2026-01-25

10分3秒

课时65

使用docker容器运行SGLang

更新时间：2026-01-25

34分52秒

课时66

使用docker-compose运行SGLang

更新时间：2026-01-25

11分30秒

课时67

容器运行SGLang实现负载均衡

更新时间：2026-01-25

15分48秒

章节8:使用k8s部署SGLang运行大模型 (12节)

课时68

分享内容说明

更新时间：2026-01-25

2分44秒

课时69

k8s集群节点准备

更新时间：2026-01-25

41分45秒

课时70

k8s集群节点容器管理工具准备

更新时间：2026-01-25

20分38秒

课时71

NVIDIA容器工具包准备及配置Docker

更新时间：2026-01-25

13分20秒

课时72

k8s集群初始化全过程

更新时间：2026-01-25

16分59秒

课时73

k8s集群网络插件部署

更新时间：2026-01-25

10分41秒

课时74

NVIDIA设备插件部署实现GPU注册

更新时间：2026-01-25

6分15秒

课时75

k8s集群后端存储

更新时间：2026-01-25

8分50秒

课时76

k8s部署sglang及open webui

更新时间：2026-01-25

33分22秒

课时77

Prometheus监控系统安装

更新时间：2026-01-25

13分8秒

课时78

部署GPU监控组件及暴露sglang监控指标

更新时间：2026-01-26

20分21秒

课时79

监控与数据仪表盘及告警规则

更新时间：2026-01-26

29分29秒