大型电商日志离线分析系统马士兵教育官网

章节1: Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 (16节)

课时01

课前答疑

6分54秒

课时02

文档需求分析

10分55秒

课时03

需求总述和用户基本信息分析模块

11分28秒

课时04

浏览器信息分析模块和地域信息分析模块

9分3秒

课时05

用户访问深度分析模块，外链数据分析模块，订单数据分析模块和事件分析

9分1秒

课时06

问题答疑

3分50秒

课时07

根据需求分析工作流程

12分54秒

课时08

根据需求分析工作流程2

15分17秒

课时09

根据需求分析工作流程3

7分17秒

课时10

js sdk执行工作流

8分44秒

课时11

事件类型分析

7分50秒

课时12

前端js输出日志

1分52秒

课时13

问题答疑

3分0秒

课时14

Nginx安装

6分20秒

课时15

Nginx配置

2分10秒

课时16

Nginx配置2

3分8秒

章节2: Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 (19节)

课时17

js和java数据源

8分58秒

课时18

工作流程

4分44秒

课时19

js数据源代码解析

3分32秒

课时20

js数据源代码解析

10分15秒

课时21

js数据源代码解析2

7分31秒

课时22

js数据源代码解析3

5分32秒

课时23

配置ngx_http-log module模块

10分27秒

课时24

配置ngx_http-log module模块2

11分41秒

课时25

java向Nginx发送数据

6分34秒

课时26

java向Nginx发送数据2

4分51秒

课时27

Apache Flume概述

11分0秒

课时28

Flume的配置

9分1秒

课时29

Flume的使用

7分37秒

课时30

两台flume分析

3分25秒

课时31

两台flume配置

4分39秒

课时32

两台flume配置2

5分46秒

课时33

两台flume配置3

2分45秒

课时34

flume的Multiplexing the flow和tee命令

2分39秒

课时35

kafka和flume

3分48秒

章节3: Hadoop项目-Flume讲解及数据清洗模块准备工作 (17节)

课时36

Flume集群概述

10分5秒

课时37

监控当前文件和目录

9分6秒

课时38

监控当前文件和目录2

9分36秒

课时39

FlumeChannels

7分36秒

课时40

Flume Sink源

5分44秒

课时41

HDFS参数讲解

15分17秒

课时42

往HDFS里写入数据

6分42秒

课时43

配置HDFS

9分56秒

课时44

数据源从ETL清洗到HBase

9分31秒

课时45

根据jp搜索ip信息文件,得到IPLocation结构,所搜索的ip参数从类成员ip中得到

8分41秒

课时46

根据jp搜索ip信息文件,得到IPLocation结构,所搜索的ip参数从类成员ip中得到2

10分55秒

课时47

枚举类

2分55秒

课时48

数据清洗

1分19秒

课时49

数据清洗2

3分23秒

课时50

数据清洗3

2分31秒

课时51

数据清洗4

2分14秒

课时52

问题答疑

39秒

章节4: Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 (15节)

课时53

数据清理

7分55秒

课时54

数据清理2

9分54秒

课时55

数据清理3

9分46秒

课时56

数据清理4

12分43秒

课时57

数据清理5

6分49秒

课时58

数据清理6

1分47秒

课时59

HBase和Hive的整合

7分50秒

课时60

HBase和Hive的整合的配置

10分4秒

课时61

结合官方案例使用HBase和Hive的整合

9分11秒

课时62

根据需求文档进行需求分析

7分38秒

课时63

根据需求文档进行需求分析2

10分33秒

课时64

根据需求文档进行需求分析3

5分28秒

课时65

根据需求文档进行需求分析4

5分10秒

课时66

根据需求文档进行需求分析5

3分15秒

课时67

最优化的质量和大小

3分7秒

章节5: Hadoop项目-手敲用户新增指标模块代码 (16节)

课时68

表设计

8分59秒

课时69

每个维度的代码逻辑分析

6分35秒

课时70

自定义的计算新用户的mapper类

8分5秒

课时71

自定义的计算新用户的mapper类2

8分17秒

课时72

读取的是hbase中的result，将数据变成K-V格式的数据

10分22秒

课时73

读取的是hbase中的result，将数据变成K-V格式的数据2

11分57秒

课时74

进行维度组合

12分42秒

课时75

将相同ker的数据汇紧到一起

4分52秒

课时76

将相同ker的数据汇紧到一起2

7分30秒

课时77

向mysql插入数据

6分18秒

课时78

设置从hbase获取数据的规则

8分20秒

课时79

设置从hbase获取数据的规则2

10分52秒

课时80

压测服务

1分52秒

课时81

压测服务2

2分30秒

课时82

压测服务3

2分56秒

课时83

总结和思路

8分14秒

章节6: Hadoop项目-MR输出数据到mysql的输出格式化类、sqoop的简单介绍 (14节)

课时84

OutputFormat：输出格式化类

6分48秒

课时85

定义每条数据的输出格式,一条数据就是reducer任务每次执行write方法输出的数据

8分42秒

课时86

自定义具体数据输出writer

13分44秒

课时87

自定义具体数据输出writer2

13分35秒

课时88

自定义具体数据输出writer3

8分24秒

课时89

重新实现活跃用户

7分24秒

课时90

重新实现活跃用户2

9分25秒

课时91

Apache Sqoop概述

6分35秒

课时92

Apache Sqoop安装

10分27秒

课时93

使用Apache Sqoop

7分47秒

课时94

sqoop的使用

6分35秒

课时95

sqoop的使用2

3分47秒

课时96

sqoop的使用3

3分13秒

课时97

sqoop的使用4

5分7秒

章节7: Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 (14节)

课时98

sqoop的使用概述

6分50秒

课时99

sqoop使用

11分17秒

课时100

导入到HBase

10分9秒

课时101

在存储的时候的一些问题

8分16秒

课时102

需求分析

10分19秒

课时103

需求分析2

11分28秒

课时104

需求实现

9分39秒

课时105

需求实现2

11分28秒

课时106

问题答疑

9分21秒

课时107

项目基础脚本分析

9分14秒

课时108

流程图分析

4分29秒

课时109

流程图分析2

2分31秒

课时110

问题答疑

4分37秒

课时111

问题答疑2

6分20秒