课时01

数据库三范式

课时02

ER实体模型

课时03

数据仓库意义

课时04

数据仓库介绍

课时05

数据仓库发展过程(1)

课时06

数据仓库发展过程(2)

课时07

课前回顾

课时08

维度建模-事实表

课时09

维度建模-维度表

课时10

星型模型

课时11

雪花模型

课时12

星型模型与雪花模型对比

课时13

维度建模案例

课时14

数据仓库分层设计(1)

课时15

数据仓库分层设计(2)

课时16

数据仓库分层设计(3)

课时17

数据仓库分层案例

课时18

数据库与数据仓库区别

课时19

课前回顾

课时20

项目介绍

课时21

项目架构图(1)

课时22

项目架构图(2)

课时23

项目架构图(3)

课时24

集群配置与项目人数、周期

课时25

数据仓库模型

课时26

数据仓库命名规范

课时27

业务分析

课时28

回顾项目前期准备内容

课时29

歌曲热度与歌手热度排行需求

课时30

歌曲热度与歌手热度排行需要的数据

课时31

数据仓库分层设计

课时32

数据处理流程

课时33

清洗客户端日志数据，保存到数仓ODS层(1)

课时34

清洗客户端日志数据，保存到数仓ODS层(2)

课时35

存储数据表介绍

课时36

回顾

课时37

项目目录结构

课时38

ProduceClintLog处理的过程代码解析

课时39

演示测试

课时40

数据表介绍,创建

课时41

安装Sqoop

课时42

抽取MySQL中song数据到Hive ODS

课时43

执行脚本

课时44

清洗数据表介绍

课时45

清洗“歌库歌曲表”生成“歌曲基本信息日全量表”基本讲解

课时46

回顾

课时47

清洗“歌库歌曲表”生成“歌曲基本信息日全量表代码讲解(1)

课时48

清洗“歌库歌曲表”生成“歌曲基本信息日全量表代码讲解(2)

课时49

歌曲特征日统计表介绍

课时50

EDS层生成“歌曲特征日统计表”

课时51

运行演示

课时52

微信指数

课时53

复习

课时54

开窗函数

课时55

表数据介绍

课时56

统计歌手和歌曲热度需求

课时57

统计歌手和歌曲热度代码讲解

课时58

歌手热度代码讲解

课时59

回顾及下面内容引入

课时60

配置运行Azkaban(1)

课时61

配置运行Azkaban(2)

课时62

启动Azkaban

课时63

回顾

课时64

构建工作流(1)

课时65

构建工作流(2)

课时66

回顾歌曲歌手热度统计数据流转图

课时67

使用Azkaban调度歌曲歌手热度-任务一

课时68

使用Azkaban调度歌曲歌手热度-任务二,三,四

课时69

使用Azkaban调度歌曲歌手热度-任务五,六

课时70

编写6个任务

课时71

创建六张任务表

课时72

执行任务

课时73

Azkaban 问题

课时74

代码问题

课时75

Superset

课时76

解决上节课代码问题

课时77

Superset引入及window安装

课时78

Superset-Linux安装

课时79

登入Superset

课时80

连接mysql使用(1)

课时81

连接mysql使用(2)

课时82

连接mysql使用(3)

课时83

回顾

课时84

第二个业务：机器详细信息统计需求

课时85

数据表介绍

课时86

业务分析

课时87

数仓分层设计

课时88

处理业务(1)

课时89

处理业务(2)

课时90

省份,城市表创建导入

课时91

针对Ods层数据进行分析获取EDS层-数据

课时92

针对Ods层数据进行分析获取EDS层-思路

课时93

回顾

课时94

清洗数据(1)

课时95

清洗数据(2)

课时96

查询

课时97

运行

课时98

配置到机器学习中

课时99

准备脚本,运行脚本

课时100

启动Superset 可视化

课时101

回答问题及下节课内容安排

课时102

第三个业务用户画像，统计当天7日活跃用户

课时103

数仓分层设计

课时104

EDS层 --用户主题

课时105

数据处理

课时106

创建表TO_YCAK_USR_D

课时107

创建表TO_YCAK_USR_APP_D

课时108

创建表TO_YCAK_USR_LOGIN_D

课时109

sqoop增量导入

课时110

分析获取

课时111

代码实现

课时112

查询获取当前日连续7日活跃用户

课时113

azkaban任务流调度

课时114

总计

课时115

上节课内容回顾

课时116

Azkaban进行任务流调度

课时117

使用superSet可视化

课时118

第四个业务：商户营收统计

课时119

第四个业务分析：商户营收统计

课时120

数据仓库分层设计：源业系统数据

课时121

数据仓库分层设计：EDS

课时122

数据仓库分层设计：DM层，EDS层，ODS层分析

课时123

数据仓库分层设计：DM层，EDS层，ODS层分析（二）

课时124

回顾机器营收业务

课时125

分析获取TW_MAC_LOC_D机器位置信息日统计表

课时126

增量导入

课时127

针对TO_YCAK_USR_LOC_D表数据，调用高德API获取位置信息得到TW_MAС_LOC_D

课时128

高德地图API的使用

课时129

分析数据-- Kafka [给运营中心使用]

课时130

调高德api

课时131

rdd算子操作访问高德api

课时132

代码实现

课时133

代码实现（二）

课时134

代码实现（三）

课时135

上节课回顾：数据仓库分层设计

课时136

上节课回顾：EDS

课时137

上节课回顾：各个ODS层与EDS层表之间的流转关系如下

课时138

统计机器营收数据信息

课时139

增量导入

课时140

ODS层与EDS层表之间的流转关系

课时141

针对ODS层TO_YCAK_CNSM_D清洗得到EDS层

课时142

代码实现

课时143

获取EDS层机器日营收统计表TW_MAC_STAT_D

课时144

统计每台机器每个套餐、每种支付类型对应的退款情况

课时145

获取机器日营收情况统计表

课时146

复习上节内容

课时147

数据业务分析-获取DM层：商户日营收统计表【mysgl中也有对应的表】

课时148

数据业务分析-获取DM层：地区营收日统计表

课时149

使用Azkaban进行任务流调度

课时150

使用Azkaban进行任务流调度（二）

课时151

使用Azkaban调度步骤

课时152

使用Azkaban调度步骤（二）

课时153

数据处理流程

课时154

SuperSet

课时155

流式日志数据采集接口

课时156

日志代码实现

课时157

日志代码实现（二）

课时158

日志代码实现（三）

课时159

日志代码实现（四）

课时160

日志代码实现（五）

课时161

日志代码实现（六）

课时162

配置信息解析

课时163

数据处理

课时164

流式业务：统计每台机器实时pvuv

课时165

流式业务：统计每台机器实时pvuv（二）

课时166

上节课回顾

课时167

统计机器uv

课时168

Receiver模式

课时169

Direct模式

课时170

pirect模式

课时171

利用Kafka维护消费者offset

课时172

代码实现

课时173

代码实现（二）

课时174

代码实现（三）

课时175

统计实时歌曲热榜

课时176

统计实时歌曲热榜（二）

课时177

Spark优化：资源优化

课时178

Spark优化：并行度优化

课时179

Spark优化：代码优化

课时180

代码优化：尽量避免使用shuffle算，使用map端有预聚合的操作

课时181

代码优化：使用高性能的算子，使用广播变量，使用Kryo序列化

课时182

代码优化：优化数据结构，总结

课时183

Shuffle优化

课时184

内存优化

课时185

堆外内存优化

课时186

数据倾斜的处理

课时187

数据倾斜解决方式

课时188

数据倾斜解决方式（二）

课时189

问题答疑