湖仓一体电商数据分析平台马士兵教育官网

章节1:01-项目背景介绍及项目架构 (3节)

课时01

01-湖仓一体数据分析平台-项目背景介绍

3分13秒

课时02

02-湖仓一体数据分析平台-实时数仓现状分析

13分27秒

课时03

03-湖仓一体数据分析平台-项目架构及数据分层

11分23秒

章节2:02-项目使用技术版本及组件搭建 (24节)

课时04

04-湖仓一体数据分析平台-项目可视化效果及使用技术版本

4分25秒

课时05

05-湖仓一体数据分析平台-项目基础环境介绍

3分20秒

课时06

06-湖仓一体数据分析平台-zookeeper分布式搭建

9分5秒

课时07

07-湖仓一体数据分析平台-zookeeper启动及状态检查

1分25秒

课时08

08-湖仓一体数据分析平台-HDFS分布式配置搭建

21分35秒

课时09

09-湖仓一体数据分析平台-HDFS格式化与启动关闭

13分7秒

课时10

10-湖仓一体数据分析平台-Hive服务端与客户端配置搭建

16分16秒

课时11

11-湖仓一体数据分析平台-Hive启动及测试

3分59秒

课时12

12-湖仓一体数据分析平台-Hive与Iceberg整合配置

6分55秒

课时13

13-湖仓一体数据分析平台-Hive整合Iceberg三种Catalog管理方式

18分19秒

课时14

14-湖仓一体数据分析平台-HBase分布式搭建

11分7秒

课时15

15-湖仓一体数据分析平台-HBase集群使用及测试

7分25秒

课时16

16-湖仓一体数据分析平台-Phoenix整合HBase配置

7分47秒

课时17

17-湖仓一体数据分析平台-Phoenix操作测试

11分10秒

课时18

18-湖仓一体数据分析平台-Kafka分布式集群配置搭建

9分17秒

课时19

19-湖仓一体数据分析平台-Kafka分布式集群启动及测试

8分47秒

课时20

20-湖仓一体数据分析平台-Redis编译及搭建

12分13秒

课时21

21-湖仓一体数据分析平台-Redis启动、停止及测试

3分13秒

课时22

22-湖仓一体数据分析平台-Flink集群搭建

7分31秒

课时23

23-湖仓一体数据分析平台-Flume日志采集工具搭建

3分3秒

课时24

24-湖仓一体数据分析平台-MySQL binlog配置及Maxwell配置搭建

12分53秒

课时25

25-湖仓一体数据分析平台-Maxwell实时增量或全量同步MySQL binlog数据

11分18秒

课时26

26-湖仓一体数据分析平台-Clickhouse分布式集群配置搭建

14分20秒

课时27

27-湖仓一体数据分析平台-Clickhouse测试使用

7分55秒

章节3:03-项目数据种类与采集 (11节)

课时28

28-湖仓一体数据分析平台-项目数据种类与采集方式

6分51秒

课时29

29-湖仓一体数据分析平台-MySQL业务数据介绍

10分6秒

课时30

30-湖仓一体数据分析平台-MySQL业务库数据采集到Kafka

10分24秒

课时31

31-湖仓一体数据分析平台-用户浏览上坡你日志数据详情

4分55秒

课时32

32-湖仓一体数据分析平台-用户日志采集接口实现-01

12分57秒

课时33

33-湖仓一体数据分析平台-用户日志采集接口实现-02

14分36秒

课时34

34-湖仓一体数据分析平台-用户日志采集接口实现-03

7分25秒

课时35

35-湖仓一体数据分析平台-用户日志采集接口本地测试

18分29秒

课时36

36-湖仓一体数据分析平台-用户日志采集接口Linux测试

7分49秒

课时37

37-湖仓一体数据分析平台-用户日志数据通过Flume实时采集到Kafka

10分9秒

课时38

38-湖仓一体数据分析平台-项目内容其他注意点

2分49秒

章节4:04-实时业务统计指标分析一——ODS分层设计与数据处理 (18节)

课时39

39-湖仓一体数据分析平台-实时统计每省新增用户、pv、uv业务需求与分析

10分34秒

课时40

40-湖仓一体数据分析平台-项目整体处理流程及分层流程设计

25分5秒

课时41

41-湖仓一体数据分析平台-第一个实时业务架构流程图-01

25分9秒

课时42

42-湖仓一体数据分析平台-第一个实时业务架构流程图-02

8分26秒

课时43

43-湖仓一体数据分析平台-项目创建及代码分层、工具类编写

16分45秒

课时44

44-湖仓一体数据分析平台-ODS层处理之Connector获取Kafka数据

21分9秒

课时45

45-湖仓一体数据分析平台-ODS层处理之Connector获取Kakfa数据代码测试

4分44秒

课时46

46-湖仓一体数据分析平台-ODS层处理之编写写入ODS-Iceberg表数据代码

18分57秒

课时47

47-湖仓一体数据分析平台-ODS层处理之写入ODS-Iceberg表数据代码测试

6分42秒

课时48

48-湖仓一体数据分析平台-ODS层处理之事实维度数据分流设计思路

17分37秒

课时49

49-湖仓一体数据分析平台-ODS层处理之Flink主流数据准备

12分29秒

课时50

50-湖仓一体数据分析平台-ODS层处理之MySQL工具类编写及测试

17分4秒

课时51

51-湖仓一体数据分析平台-ODS层处理之主流与广播流关联处理-01

17分25秒

课时52

52-湖仓一体数据分析平台-ODS层处理之主流与广播流关联处理-02

15分31秒

课时53

53-湖仓一体数据分析平台-ODS层处理之主流与广播流关联处理-03

23分5秒

课时54

54-湖仓一体数据分析平台-ODS层处理之事实数据与维度数据分流测试

9分1秒

课时55

55-湖仓一体数据分析平台-ODS层处理之结果写入Kafka Sink代码编写

9分46秒

课时56

56-湖仓一体数据分析平台-ODS层处理之结果写入Kakfa Sink代码测试

6分58秒

章节5:05-实时业务统计指标分析一——DIM分层设计与数据处理 (6节)

课时57

57-湖仓一体数据分析平台-DIM层处理之维度数据处理思路

10分9秒

课时58

58-湖仓一体数据分析平台-DIM层处理之编写读取Kafka 维度数据代码及测试

14分30秒

课时59

59-湖仓一体数据分析平台-DIM层处理之编写维度数据写入Phoenix代码-01

21分27秒

课时60

60-湖仓一体数据分析平台-DIM层处理之编写维度数据写入Phoenix代码-02

18分29秒

课时61

61-湖仓一体数据分析平台-DIM层处理之维度数据写入Phoenix代码测试

9分32秒

课时62

62-湖仓一体数据分析平台-DIM层处理之全量维度数据写入Phoenix测试

16分22秒

章节6:06-实时业务统计指标分析一——DWD层设计与数据处理 (4节)

课时63

63-湖仓一体数据分析平台-DWD层处理之获取Kafka数据代码编写及测试

14分29秒

课时64

64-湖仓一体数据分析平台-DWD层处理之数据清洗

26分23秒

课时65

65-湖仓一体数据分析平台-DWD层处理之数据输出到Iceberg-DWD层和Kafka

13分10秒

课时66

66-湖仓一体数据分析平台-DWD层处理之数据写出代码测试

9分36秒

章节7:07-实时业务统计指标分析一——DWS层设计与数据处理 (9节)

课时67

67-湖仓一体数据分析平台-DWS层处理之Kafka用户登录数据读取代码编写与测试

14分26秒

课时68

68-湖仓一体数据分析平台-DWS层处理之业务处理思路分析

13分26秒

课时69

69-湖仓一体数据分析平台-DWS层处理之获取用户登录信息及代码编写思路分析

22分31秒

课时70

70-湖仓一体数据分析平台-DWS层处理之Redis缓存设置工具类代码编写

15分50秒

课时71

71-湖仓一体数据分析平台-DWS层处理之获取用户基本信息及Redis缓存设置

29分9秒

课时72

72-湖仓一体数据分析平台-DWS层处理之获取用户地址信息及Redis缓存设置

17分31秒

课时73

73-湖仓一体数据分析平台-DWS层处理之用户主题结果代码测试

5分13秒

课时74

74-湖仓一体数据分析平台-DWS层处理之宽表数据写入Iceberg-DWS及Kafka代码实现

18分4秒

课时75

75-湖仓一体数据分析平台-DWS层处理之宽表数据写入Iceberg及Kafka代码测试

5分6秒

章节8:08-实时业务统计指标分析一——DM层设计与数据处理 (6节)

课时76

76-湖仓一体数据分析平台-DM层处理之DM层指标分析思路分析

9分59秒

课时77

77-湖仓一体数据分析平台-DM层处理之DM层获取Kafka-DWS数据代码编写

12分50秒

课时78

78-湖仓一体数据分析平台-DM层处理之写入DM层Clickhouse工具封装思路分析

9分49秒

课时79

79-湖仓一体数据分析平台-DM层处理之写入DM层Clickhouse通用工具类代码编写

31分29秒

课时80

80-湖仓一体数据分析平台-DM层处理之用户数据插入Clickhouse代码编写

5分53秒

课时81

81-湖仓一体数据分析平台-DM层处理之用户数据插入Clickhouse代码测试

3分56秒

章节9:09-实时业务统计指标分析一——数据可视化 (9节)

课时82

82-湖仓一体数据分析平台-数据可视化之可视化总体思路及流程

5分4秒

课时83

83-湖仓一体数据分析平台-数据可视化之数据发布接口多数据源配置

16分4秒

课时84

84-湖仓一体数据分析平台-数据可视化之MySQL数据源查询数据验证

5分36秒

课时85

85-湖仓一体数据分析平台-数据可视化之Clickhouse数据源查询数据验证

8分2秒

课时86

86-湖仓一体数据分析平台-数据可视化之实时省份新增用户、PV、UV SQL实现

10分51秒

课时87

87-湖仓一体数据分析平台-数据可视化之数据发布接口查询对应数据

5分32秒

课时88

88-湖仓一体数据分析平台-数据可视化之内网穿透工具花生壳配置使用

9分23秒

课时89

89-湖仓一体数据分析平台-数据可视化之腾讯云图可视化-01

15分28秒

课时90

90-湖仓一体数据分析平台-数据可视化之腾讯云图可视化-02

6分5秒

章节10:10-实时业务统计指标分析一——全流程运行 (3节)

课时91

91-湖仓一体数据分析平台-实时业务一全流程运行之基础环境准备

18分2秒

课时92

92-湖仓一体数据分析平台-实时业务一全流程运行之代码准备

10分41秒

课时93

93-湖仓一体数据分析平台-实时业务一全流程运行之生产数据及可视化

11分28秒

章节11:11-实时业务统计指标分析二——业务分析与业务分层设计 (5节)

课时94

94-湖仓一体数据分析平台-实时商品种类排行及商品排行业务分析-01

11分20秒

课时95

95-湖仓一体数据分析平台-实时商品种类排行及商品排行业务分析-02

12分5秒

课时96

96-湖仓一体数据分析平台-实时商品种类排行及商品排行业务分析-03

17分31秒

课时97

97-湖仓一体数据分析平台-实时商品种类排行业务架构分层-01

17分16秒

课时98

98-湖仓一体数据分析平台-实时商品种类排行业务架构分层-02

15分26秒

章节12:12-实时业务统计指标分析二——ODS层设计与数据处理 (9节)

课时99

99-湖仓一体数据分析平台-ODS层处理之业务数据处理代码逻辑复用分析

15分13秒

课时100

100-湖仓一体数据分析平台-ODS层处理之业务数据对应Iceberg表创建

11分17秒

课时101

101-湖仓一体数据分析平台-ODS层处理之业务数据存入ODS层代码编写

16分8秒

课时102

102-湖仓一体数据分析平台-ODS层处理之业务数据写入ODS层代码测试

22分18秒

课时103

103-湖仓一体数据分析平台-ODS层处理之用户日志数据处理思路

13分42秒

课时104

104-湖仓一体数据分析平台-ODS层处理之用户日志数据Iceberg表创建

7分52秒

课时105

105-湖仓一体数据分析平台-ODS层处理之用户日志数据写入Iceberg代码编写

17分33秒

课时106

106-湖仓一体数据分析平台-ODS层处理之用户日志数据处理代码编写

20分41秒

课时107

107-湖仓一体数据分析平台-ODS层处理之用户日志数据处理代码测试

10分17秒

章节13:13-实时业务统计指标分析二——DIM层设计与数据处理 (2节)

课时108

108-湖仓一体数据分析平台-DIM层维度数据处理之代码逻辑分析

12分49秒

课时109

109-湖仓一体数据分析平台-DIM层维度数据处理之代码测试

8分21秒

章节14:14-实时业务统计指标分析二——DWD层设计与数据处理 (4节)

课时110

110-湖仓一体数据分析平台-DWD层用户浏览商品日志数据清洗思路分析-01

15分28秒

课时111

111-湖仓一体数据分析平台-DWD层用户浏览商品日志数据清洗思路分析-02

25分15秒

课时112

112-湖仓一体数据分析平台-DWD层用户浏览商品日志数据清洗代码

15分29秒

课时113

113-湖仓一体数据分析平台-DWD层用户浏览商品日志数据清洗代码测试

7分0秒

章节15:15-实时业务统计指标分析二——DWS层设计与数据处理 (10节)

课时114

114-湖仓一体数据分析平台-DWS层获取用户浏览商品宽表数据思路分析

13分57秒

课时115

115-湖仓一体数据分析平台-DWS层读取DWD层用户浏览商品数据代码编写

15分18秒

课时116

116-湖仓一体数据分析平台-DWS层转换用户浏览商品数据代码编写与思路补充

12分43秒

课时117

117-湖仓一体数据分析平台-DWS层用户浏览数据获取对应的缓存及维度数据思路分析

16分24秒

课时118

118-湖仓一体数据分析平台-DWS层根据浏览商品id获取商品名称维度数据代码编写

23分38秒

课时119

119-湖仓一体数据分析平台-DWS层根据浏览商品二级分类获取对应维度数据代码编写

11分20秒

课时120

120-湖仓一体数据分析平台-DWS层组织用户浏览商品宽表数据代码编写

15分1秒

课时121

121-湖仓一体数据分析平台-DWS层用户浏览商品宽表数据代码测试

2分59秒

课时122

122-湖仓一体数据分析平台-DWS层用户浏览商品宽表数据写出DWS层代码编写

13分30秒

课时123

123-湖仓一体数据分析平台-DWS层用户浏览商品宽表数据写出DWS层代码测试

6分40秒

章节16:16-实时业务统计指标分析二——DM层设计与全流程运行 (10节)

课时124

124-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据处理思路

3分34秒

课时125

125-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据代码编写-01

10分7秒

课时126

126-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据代码编写-02

23分1秒

课时127

127-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据代码编写-03

9分28秒

课时128

128-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据代码测试

5分3秒

课时129

129-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据发布接口

15分40秒

课时130

130-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据可视化-01

7分27秒

课时131

131-湖仓一体数据分析平台-DM层用户浏览商品信息报表数据可视化-02

10分38秒

课时132

132-湖仓一体数据分析平台-用户浏览商品信息业务全流程运行-01

13分47秒

课时133

133-湖仓一体数据分析平台-用户浏览商品信息业务全流程运行-02

20分32秒

章节17:17-离线业务统计指标及小文件优化 (10节)

课时134

134-湖仓一体数据分析平台-离线统计用户浏览商品获取积分思路分析

8分2秒

课时135

135-湖仓一体数据分析平台-离线统计用户浏览商品获取积分代码编写-01

10分50秒

课时136

136-湖仓一体数据分析平台-离线统计用户浏览商品获取积分代码编写-02

7分41秒

课时137

137-湖仓一体数据分析平台-离线统计用户浏览商品获取积分可视化

9分54秒

课时138

138-湖仓一体数据分析平台-离线统计用户浏览商品获取积分可视化补充

3分33秒

课时139

139-湖仓一体数据分析平台-整体项目运行基本环境准备

18分13秒

课时140

140-湖仓一体数据分析平台-整体项目运行代码执行及可视化展示

17分47秒

课时141

141-湖仓一体数据分析平台-Iceberg小文件分类及产生原因

6分28秒

课时142

142-湖仓一体数据分析平台-API代码减少Iceberg元数据文件与数据文件-01

18分28秒

课时143

143-湖仓一体数据分析平台-API代码减少Iceberg元数据文件与数据文件-02

4分20秒