Spark分布式计算框架马士兵教育官网

章节1: spark-core、复习hadoop生态、梳理术语、hadoopRDD 源码分析 (16节)

课时01

回顾(1)

免费试学

13分37秒

课时02

回顾(2)

免费试学

27分30秒

课时03

单词统计

免费试学

7分48秒

课时04

sparkUI解读

免费试学

5分46秒

课时05

打印结果

免费试学

5分44秒

课时06

打印顺序调换

免费试学

1分4秒

课时07

代码讲解

免费试学

5分45秒

课时08

编程模型RDD介绍

免费试学

6分56秒

课时09

a list of dependencies on other RDDs

免费试学

1分27秒

课时10

a Partitioner for key-value RDDS

免费试学

2分52秒

课时11

接下来安排

1分11秒

课时12

Spark WORDCOUNT源码解析

9分25秒

课时13

图解Spark WORDCOUNT源码解析

1分53秒

课时14

getPartitions解读

14分58秒

课时15

computer(p)解读

8分53秒

课时16

flatMap及作业

2分42秒

章节2: spark-core、wordcount案例源码分析、图解 (16节)

课时17

回顾

2分21秒

课时18

flatMap方法解读(1)

2分15秒

课时19

flatMap方法解读(2)

6分45秒

课时20

compute方法

6分38秒

课时21

map解读

13分43秒

课时22

reduceBykey解读

9分57秒

课时23

shuffledRDD解读

2分0秒

课时24

prev deps解读

6分15秒

课时25

getDependcies解读

3分11秒

课时26

shuffleManger解读

9分20秒

课时27

pipeline解读

6分21秒

课时28

LineAge解读

1分2秒

课时29

MapparitionsRDD解读

5分20秒

课时30

spark学术理论

7分10秒

课时31

依赖关系

10分2秒

课时32

api学习

16分50秒

章节3: spark-core、集合操作API、pvuv分析、RDD源码分析 (19节)

课时33

回顾

60秒

课时34

数据集原理解读

1分32秒

课时35

数据集合并

16分0秒

课时36

图解数据集合并

8分0秒

课时37

cartesian解读

10分35秒

课时38

总结

4分8秒

课时39

回答问题

2分23秒

课时40

intersection解读

5分32秒

课时41

subtract解读

3分32秒

课时42

parallelize解读

4分20秒

课时43

join解读

11分17秒

课时44

cogroup解读up及总结

6分22秒

课时45

整体流程解读

9分3秒

课时46

总结数据集操作

4分7秒

课时47

排序

4分30秒

课时48

根据数据计算个网站的pv,uv,显示top5

1分3秒

课时49

pv实现

9分19秒

课时50

uv实现

7分11秒

课时51

作业

7分6秒

章节4: spark-core、聚合计算API、combineByKey、分区调优 (14节)

课时52

spark整体安排

2分13秒

课时53

回顾

60秒

课时54

聚合方法1

17分7秒

课时55

聚合方法2

10分17秒

课时56

均值复杂度

2分33秒

课时57

调优

12分18秒

课时58

面向分区操作(1)

9分55秒

课时59

面向分区操作(2)

9分46秒

课时60

面向分区操作迭代器

9分33秒

课时61

另一种方式

2分1秒

课时62

回答问题

3分4秒

课时63

repartition调coalesce触发shuffle调整分区数量

20分1秒

课时64

分区变多的情况

5分18秒

课时65

分区变少的情况

9分42秒

章节5: spark-core、二次排序、分组取TopN、算子综合应用 (10节)

课时66

算子综合应用

26分18秒

课时67

解决代码中的问题

1分1秒

课时68

去重

9分5秒

课时69

排序

7分35秒

课时70

问题介绍

4分40秒

课时71

解决问题

10分58秒

课时72

最终代码

20分21秒

课时73

代码再次升级逻辑

11分15秒

课时74

总结刚才的代码

12分11秒

课时75

举例分析

20分8秒

章节6: spark-core、集群框架图解、角色功能介绍、官网学习、搭建 (13节)

课时76

回顾

2分35秒

课时77

集群搭建

13分30秒

课时78

集群搭建spark逻辑

16分4秒

课时79

DAG

3分52秒

课时80

task以线程的形式跑在Executor种

2分0秒

课时81

spark整体流程

4分12秒

课时82

回顾task及回答问题

8分9秒

课时83

spark官网

13分43秒

课时84

spark部署

11分4秒

课时85

加入单机逻辑

5分24秒

课时86

官网学习

7分12秒

课时87

集群部署搭建(1)

20分48秒

课时88

集群部署搭建(2)

8分20秒

章节7: spark-core、history服务、standaloneHA、资源调度参数 (16节)

课时89

github集成到ide

5分30秒

课时90

github中spark源代码同步到ide

2分38秒

课时91

回顾

4分34秒

课时92

总结昨天内容

1分27秒

课时93

高可用

6分12秒

课时94

第二台master

8分25秒

课时95

解决主bug

3分43秒

课时96

spark master理论

1分48秒

课时97

history服务

16分8秒

课时98

standaloneHA

3分16秒

课时99

spark-submit

3分47秒

课时100

官方例子源码讲解

14分10秒

课时101

运行jar包

16分14秒

课时102

整理笔记

2分4秒

课时103

资源调度参数(1)

19分35秒

课时104

资源调度参数(2)

9分13秒

章节8: spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars (12节)

课时105

Yarn引入

5分29秒

课时106

yarn部署

3分16秒

课时107

yarn配置

4分18秒

课时108

yarn-site与mapred-site.xml

4分46秒

课时109

hadoop部署

3分50秒

课时110

history部署

3分19秒

课时111

日志部署

5分2秒

课时112

spark-shell演示

8分32秒

课时113

资源调度参数

10分15秒

课时114

答疑及解决调度问题

7分30秒

课时115

笔记及答疑

2分47秒

课时116

优化jars

21分26秒

章节9: spark-core-源码、RpcEnv、standaloneMaster启动分析 (12节)

课时117

前置准备

8分5秒

课时118

RPC引入

7分4秒

课时119

RPC基本介绍

19分10秒

课时120

start-all与start-master.sh

7分10秒

课时121

apache.spark.deploy.master.Master源码

5分16秒

课时122

rpcEnv NettyRpcEnv源码

5分14秒

课时123

图解源码

3分44秒

课时124

传输服务

11分16秒

课时125

Dispatcher引入

5分1秒

课时126

Dispatcher讲解

14分25秒

课时127

Dispatcher讲解与Rest风格

11分3秒

课时128

Dispatcher讲解-注册,获取,inbox,onstart

17分39秒

章节10: spark-core-源码、Worker启动、sparksubmit提交、Driver启动 (12节)

课时129

回顾

4分40秒

课时130

补全流程图

12分19秒

课时131

Worker启动讲解

19分2秒

课时132

Worker启动与sparksubmit提交引入

4分35秒

课时133

sparksubmit提交讲解

18分21秒

课时134

clien,driver源码讲解

10分10秒

课时135

总结master,worker,client关系

5分48秒

课时136

master,driver,worker源码讲解

8分41秒

课时137

DriverWrapper讲解

11分49秒

课时138

SparkContext源码讲解

6分12秒

课时139

SparkContext源码讲解

11分24秒

课时140

Standalone源码讲解

10分29秒

章节11: spark-core-源码、Application注册、Executor资源申请 (11节)

课时141

回顾

4分44秒

课时142

查看Master.scala

8分57秒

课时143

资源调度

17分21秒

课时144

资源逻辑

4分2秒

课时145

资源算法

5分23秒

课时146

演示资源分配

5分43秒

课时147

回答学生问题

2分10秒

课时148

看是否分配资源

1分33秒

课时149

worker多个executor

3分45秒

课时150

CoarseGrainedExecutorBackend

17分58秒

课时151

小图结构总结

29分35秒

章节12: spark-core-源码、sparkContext、DAGScheduler、stage划分 (9节)

课时152

回答学生问题

4分18秒

课时153

回顾

4分17秒

课时154

stage1

16分58秒

课时155

stage2

22分32秒

课时156

调用rdd执行start

12分31秒

课时157

源码图解1

16分51秒

课时158

源码图解2

16分12秒

课时159

举个例子

24分3秒

课时160

补充

8分6秒

章节13: spark-core-源码、TaskScheduler、Executor运行Task、SparkEnv (9节)

课时161

回顾上节内容

4分45秒

课时162

源码DAGScheduler1

14分46秒

课时163

源码DAGScheduler2

11分12秒

课时164

任务的调度

12分44秒

课时165

源码DAGScheduler3

17分58秒

课时166

源码分析：计算框架1

9分15秒

课时167

源码分析：计算框架2

7分20秒

课时168

源码分析：计算框架3

13分20秒

课时169

spark的一些细节

22分7秒

章节14: spark-core-源码、MemoryManager、BlockManager (10节)

课时170

源码sprkEnv1

16分56秒

课时171

源码sprkEnv2

7分38秒

课时172

MemoryManager1

5分43秒

课时173

MemoryManager2

17分53秒

课时174

内存

4分46秒

课时175

源码sprkEnv3

11分26秒

课时176

扩展

10分57秒

课时177

源码sprkEnv4

14分29秒

课时178

sprk源码SortShuffleManager1

12分45秒

课时179

sprk源码SortShuffleManager2

16分34秒

章节15: spark-core-源码、Dependency、SortShuffleManager (10节)

课时180

sprk源码SortShuffle-handle1

3分43秒

课时181

sprk源码SortShuffl-ehandle2

16分14秒

课时182

sprk源码SortShuffl-ehandle3

12分29秒

课时183

sprk源码SortShuffl-ehandle4

20分59秒

课时184

task

5分28秒

课时185

解决复习前几节的伏笔

13分32秒

课时186

sprk源码SortShufflewriter1

24分42秒

课时187

sprk源码SortShufflewriter2

15分34秒

课时188

Java常识object又浪费空间嫌疑

3分49秒

课时189

查看源码

6分50秒

章节16: spark-core-源码、SortShuffleWriter、内存缓冲区buffer (9节)

课时190

回顾

8分8秒

课时191

sprk源码SortShufflewriter1

15分29秒

课时192

sprk源码SortShufflewriter2

19分59秒

课时193

sprk源码SortShufflewriter3

9分49秒

课时194

sprk源码SortShufflewriter4

10分50秒

课时195

内存缓冲区1

8分43秒

课时196

内存缓冲区2

21分49秒

课时197

快速过一边刚学的内容

7分7秒

课时198

回答学生问题及解析

8分14秒

章节17: spark-core-源码、SortShuffleWriter、内存缓冲区buffer (13节)

课时199

回顾

1分38秒

课时200

引导UnsafeShuffleWriter

12分3秒

课时201

分析类UnsafeShuffleWriter1

11分53秒

课时202

分析类UnsafeShuffleWriter2

4分42秒

课时203

分析ShuffleExternalSorter方法1

18分11秒

课时204

分析ShuffleExternalSorter方法2

14分15秒

课时205

executor.jvm

19分42秒

课时206

分析ShuffleExternalSorter3

2分25秒

课时207

MemoryConsumer

20分22秒

课时208

MemoryBlock

55秒

课时209

MemoryManager

9分11秒

课时210

分析ShuffleExternalSorter方法3

14分38秒

课时211

课后分析

10分58秒

章节18: spark-core-源码、UnsafeShuffleWriter、Tungsten、Unsafe、堆外 (10节)

课时212

回顾

1分57秒

课时213

分析ShuffleExternalSorter方法1

7分5秒

课时214

TaskMemoryManager

5分55秒

课时215

堆上分配

9分32秒

课时216

分析ShuffleExternalSorter方法2

21分30秒

课时217

堆外分配

22分8秒

课时218

Unsafe及解决学生问题

8分35秒

课时219

过一遍图

4分1秒

课时220

走一边UnsafeShuffleWriter

9分28秒

课时221

一些注意的点

12分22秒

章节19: spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度 (15节)

课时222

回顾

3分42秒

课时223

pipeline迭代器嵌套iterator

3分54秒

课时224

src - iter reader

1分41秒

课时225

shuffle reader

7分45秒

课时226

read方法

7分33秒

课时227

shuffle reader

6分47秒

课时228

blocksByAddress

3分14秒

课时229

SplitLocalRemoteBlocks

19分7秒

课时230

fetchUpToMaxBytes1

13分45秒

课时231

fetchUpToMaxBytes2

12分46秒

课时232

results

16分42秒

课时233

recorditer

7分25秒

课时234

aggregatediter1

12分29秒

课时235

aggregatediter2

26分36秒

课时236

read

1分50秒

章节20: spark-core-源码、RDD持久化、检查点、广播变量、累加器1 (9节)

课时237

回顾

19分50秒

课时238

spark的shuffle 系统dep

5分50秒

课时239

lessone7_rdd control1

8分17秒

课时240

lessone7_rdd control2

22分44秒

课时241

lessone7_rdd control3

24分12秒

课时242

梳理持久化

7分30秒

课时243

RDD：def iterator

23分36秒

课时244

检查点

8分39秒

课时245

回答学生问题

9分6秒

章节21: spark-core-源码、RDD持久化、检查点、广播变量、累加器2 (8节)

课时246

hello spark

21分2秒

课时247

案例演示

18分45秒

课时248

图解闭包

21分16秒

课时249

taskbinary

16分57秒

课时250

编程模型之rdd

21分27秒

课时251

源码探究

11分44秒

课时252

向Driver反向注册

21分29秒

课时253

Executor

29分5秒

章节22: spark-sql、大数据中的SQL组成原理 (7节)

课时254

hdfs和hbase模型

27分54秒

课时255

table结构化

14分11秒

课时256

元数据

18分43秒

课时257

优化

11分32秒

课时258

Driver

14分13秒

课时259

metestore

20分53秒

课时260

课后答疑

17分11秒

章节23: spark-sql、datafram到dataset开发 (7节)

课时261

课前概述

7分53秒

课时262

代码演示

24分33秒

课时263

元数据structType

26分16秒

课时264

工具类方法

25分18秒

课时265

bean类型的rdd

22分8秒

课时266

数据RDD

29分48秒

课时267

课后答疑

13分42秒

章节24: spark-sql、整合hive的metastore搭建企业级数仓1 (6节)

课时268

上节回顾

16分8秒

课时269

官网介绍

24分59秒

课时270

案例代码1

21分35秒

课时271

案例代码2

20分42秒

课时272

理解数据库概念

24分58秒

课时273

spark和sql

18分44秒

章节25: spark-sql、整合hive的metastore搭建企业级数仓2 (6节)

课时274

hive拓扑图

20分13秒

课时275

构建数仓

29分1秒

课时276

建表操作

18分51秒

课时277

问题解答

11分4秒

课时278

暴露服务形式

28分3秒

课时279

课后答疑

22分15秒

章节26: spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP (6节)

课时280

分组排序统计

21分55秒

课时281

编写方法过程

23分55秒

课时282

高并发解决方案

20分45秒

课时283

olap讲解

24分52秒

课时284

sql编写

9分10秒

课时285

spark sql源码分析

21分9秒

章节27: spark-sql-源码、sql解析、dataset到rdd的执行计划 (7节)

课时286

准备工作

23分32秒

课时287

hadoopFsRelation生成过程

22分4秒

课时288

queryExecution

19分52秒

课时289

withAction

26分12秒

课时290

sparkSession核心流程梳理

18分53秒

课时291

sparkSql编写

9分11秒

课时292

课后答疑

21分39秒

章节28: spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换 (6节)

课时293

上节回顾

17分42秒

课时294

解释器和编译器

21分49秒

课时295

解释器使用过程

13分42秒

课时296

语法流程

18分45秒

课时297

sparkSql源代码案例

18分9秒

课时298

答疑问题

14分21秒

章节29: spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD (13节)

课时299

回顾

4分0秒

课时300

逻辑计划

6分43秒

课时301

验证

2分24秒

课时302

逻辑树转换

14分59秒

课时303

优化器

13分57秒

课时304

优化器要做的事情

8分2秒

课时305

逻辑到物理的转换

13分9秒

课时306

父与子的概念

1分38秒

课时307

补充

8分54秒

课时308

什么叫执行

7分52秒

课时309

转换操作

9分40秒

课时310

dad

8分30秒

课时311

ataset

6分43秒

章节30: spark-streaming、流式计算之微批计算原理及standalone (9节)

课时312

扩展1

18分14秒

课时313

扩展2

14分45秒

课时314

语义

10分1秒

课时315

spark streaming微批的计算行式

10分21秒

课时316

receiverer接收机1

20分8秒

课时317

receiverer接收机2

8分8秒

课时318

产生数据

7分13秒

课时319

receiverer接收机3

20分17秒

课时320

receiverer2模拟

14分14秒

章节31: spark-streaming、api、ha、检查点、窗口等机制 (8节)

课时321

回顾

7分50秒

课时322

spark-streaming API

27分48秒

课时323

window机制参数

14分53秒

课时324

每秒看见历史5秒的统计

11分30秒

课时325

转换操作途径1

6分37秒

课时326

转换操作途径2

15分10秒

课时327

作用域-广播变量

9分9秒

课时328

作用域氛围三个级别

25分58秒

章节32: spark-streaming、整合MQ-kafka开发 (8节)

课时329

回顾

3分35秒

课时330

有状态计算

16分50秒

课时331

窗口移动过程中可以每次重新计算窗口数据 ,加上进来的减去出去的

38分27秒

课时332

回答问题及回顾过程

22分37秒

课时333

窗口有状态调优计算

22分0秒

课时334

使用mapWithStat()来全量有状态计算

13分44秒

课时335

整合MQ-kafka

5分56秒

课时336

什么是kafka

31分30秒

章节33: spark-streaming、源码分析、流式微批任务的调度原理 (8节)

课时337

回顾及今日安排

4分27秒

课时338

集成kafka

36分47秒

课时339

spark-streaming producer代码实现

33分45秒

课时340

spark-streaming consumer代码实现(1)

17分18秒

课时341

spark-streaming consumer代码实现(2)

24分55秒

课时342

运行时手动提交offset到mysql

1分54秒

课时343

总结

7分28秒

课时344

补全流程图

10分8秒

章节34: spark-streaming (8节)

课时345

回顾

2分40秒

课时346

spark-kafka-consumer代码实现(1)

27分40秒

课时347

spark-kafka-consumer代码实现(2)

15分55秒

课时348

流程图

44分0秒

课时349

业务代码后

16分40秒

课时350

讲解细节问题

17分58秒

课时351

维护持久化到

12分15秒

课时352

总结

13分52秒