1.Spark基本工作原理与RDD-1

00:23:20

2.Spark基本工作原理与RDD-2

00:22:23

3.使用Java开发本地测试的wordcount程序-1

00:22:12

4.使用Java开发本地测试的wordcount程序-2

00:19:05

5.将java开发的wordcount程序提交到spark集群上运行

00:13:37

6.使用scala开发wordcount程序

00:11:28

7.使用spark-shell开发wordcount程序

00:04:17

8.Spark UI补充说明

00:01:13

8.SparkUI补充说明

00:01:13

9.spark-submit中的--master选项的补充说明（重要，必看！）

00:04:54

10.wordcount程序原理深度剖析

00:25:57

11.Spark架构原理

00:23:17

12.创建RDD（集合、本地文件、HDFS文件）-1

00:23:01

13.创建RDD（集合、本地文件、HDFS文件）-2

00:21:49

14.transformation和action讲解与原理剖析

00:21:16

15.案例：统计每行出现的次数（操作key-value对）

00:13:47

16.常用transformation和action操作概览

00:04:22

17.map案例实战：将集合中的数字乘以2

00:14:17

18.filter案例实战：过滤集合中的偶数

00:08:54

19.flatMap案例实战：将文本行拆分为单词

00:08:53

20.groupByKey案例实战：将每个班级的成绩进行分组

00:14:22

21.reduceByKey案例实战：统计每个班级的总分

00:09:15

22.sortByKey案例实战：按照学生成绩进行排序

00:08:11

23.join和cogroup案例实战：打印学生成绩

00:19:51

24.action操作开发实战

00:33:24

25.RDD持久化详解

00:34:23

26.共享变量（Broadcast Variable和Accumulator）

00:29:31

26.共享变量（BroadcastVariable和Accumulator）

00:29:31

27.高级编程之基于排序机制的wordcount程序

00:18:01

28.使用Java实现二次排序

00:14:19

29.使用Scala实现二次排序

00:04:26

30.获取文本内最大的前3个数字

00:10:14

31.获取每个班级排名前3的成绩（分组取topn）

00:15:48

1.Spark内核架构深度剖析

00:39:36

2.宽依赖与窄依赖深度剖析

00:18:46

3.基于Yarn的两种提交模式深度剖析

00:19:44

4.基于yarn的提交模式的spark-env.sh配置补充

00:02:19

5.SparkContext原理剖析

00:15:19

6.SparkContext源码分析

00:28:02

7.Master主备切换机制原理剖析与源码分析

00:25:23

8.Master注册机制原理剖析与源码分析

00:21:33

9.Master状态改变处理机制原理剖析与源码分析

00:08:38

10.Master资源调度算法原理剖析与源码分析

00:39:26

11.Worker原理剖析与源码分析-1

00:22:51

12.Worker原理剖析与源码分析-2

00:20:50

13.job触发流程原理剖析与源码分析

00:20:41

14.stage划分算法原理剖析

00:27:02

15.DAGScheduler源码分析（stage划分算法、task最佳位置计算算法）

00:34:00

16.TaskScheduler原理剖析与源码分析

00:31:36

17.Executor原理剖析与源码分析

00:16:45

18.Task原理剖析

00:12:28

19.Task源码分析

00:38:15

20.普通Shuffle操作的原理剖析

00:27:50

21.优化后的Shuffle操作的原理剖析

00:12:14

22.Shuffle读写源码分析

00:32:36

23.BlockManager原理剖析

00:16:55

24.BlockManager源码分析-1

00:29:43

25.BlockManager源码分析-2

00:27:50

26.CacheManager原理剖析

00:10:08

27.CacheManager源码分析

00:16:14

28.Checkpoint原理剖析

00:33:38

1.性能优化概览

00:27:57

2.诊断内存的消耗

00:09:24

3.高性能序列化类库

00:18:24

4.优化数据结构

00:10:46

6.使用序列化的持久化级别

00:03:45

5.对多次使用的RDD进行持久化或Checkpoint

00:09:43

7.Java虚拟机垃圾回收调优

00:37:29

8.提高并行度

00:09:43

9.广播共享数据

00:07:29

10.数据本地化

00:14:49

11.reduceByKey和groupByKey

00:16:29

12.shuffle性能优化

00:21:02

1.071_1.Spark1.3.0升级1.5.1的原因说明

00:10:43

2.071_2.Spark1.4.x和1.5.x版本的新特性

00:05:53

3.071_3.Spark1.5.1源码编译

00:09:13

4.071_4.Spark1.5.1集群搭建

00:13:07

5.072_SparkSQL前世今生

00:09:57

6.073_SparkSQLDataFrame的使用

00:41:50

7.074_1.RDD转换为DataFrame的概览

00:02:22

8.074_2.使用反射方式将RDD转换为DataFrame

00:38:40

9.075_1.使用Java进行转换

00:15:28

10.075_2.使用Scala进行转换

00:06:56

11.076_通用的load和save操作

00:47:02

12.077_SparkSQLParquet数据源之使用编程方式加载数据

00:15:46

13.078_SparkSQLParquet数据源之自动分区推断

00:08:37

14.079_SparkSQLParquet数据源之合并元数据

00:14:07

15.080_1.案例实战之查询分数大于80分的学生信息(Java)

00:28:18

16.080_2.案例实战之查询分数大于80分的学生信息(Scala)

00:21:27

17.081_SparkSQLHive数据源复杂综合案例实战

00:32:04

18.082_SparkSQLJDBC数据源复杂综合案例实战

00:36:50

19.083_SparkSQL内置函数以及每日uv.销售额统计案例实战

00:32:56

20.084_SparkSQL开窗函数以及top3销售额统计案例实战

00:21:11

21.085_SparkSQLUDF自定义函数实战

00:05:40

22.086_SparkSQLUDAF自定义聚合函数实战

00:11:00

23.087_1.SparkSQL工作原理剖析以及性能优化

00:20:26

24.087_2.补充说明

00:01:10

25.087_3.SparkSQL延伸知识之HiveOnSpark

00:32:27

26.087_4.核心源码深度剖析(DataFramelazy特性.Optimizer优化策略)

1:01:20

27.087_5.每日top3热点搜索词统计案例实战

1:12:51

28.088_SparkStreaming大数据实时计算介绍

00:18:09

30.090_SparkStreaming与Storm的对比分析

00:18:18

31.091_1.SparkStreaming实时wordcount程序开发(Java)

00:23:43

32.091_2.SparkStreaming实时wordcount程序开发(Scala)

00:08:10

33.092_SparkStreamingStreamingContext详解

00:06:50

34.093_SparkStreaming输入DStream和Receiver详解

00:14:18

36.095_输入DStream之Kafka数据源实战(基于Receiver的方式)

00:14:16

37.096_输入DStream之Kafka数据源实战(基于Direct的方式)

00:13:06

38.097_DStream的transformation操作概览

00:09:16

39.098_updateStateByKey以及基于缓存的实时wordcount程序

00:26:07

40.099_transform以及广告计费日志实时黑名单过滤案例实战

00:33:44

41.100_window滑动窗口以及热点搜索词滑动统计案例实战

00:38:49

42.101_DStream的output操作以及foreachRDD详解

00:23:44

43.102_与SparkSQL结合使用之top3热门商品实时统计案例实战

00:46:44

44.103_缓存与持久化机制

00:06:55

45.104_Checkpoint机制

00:22:04

46.105_部署.升级和监控应用程序

00:21:13

47.106_容错机制以及事务语义详解

00:48:42

48.107_架构原理深度剖析

00:17:00

50.109_1.数据接收原理剖析

00:11:29

51.109_2.数据接收源码剖析

00:19:49

52.110_数据处理原理剖析与源码分析(block与batch关系透彻解析)

00:15:19

53.111_性能调优

00:35:35

54.112_课程总结

00:17:08

1.113_Scala编程进阶：Scaladoc的使用.

00:09:56

2.114_Scala编程进阶：跳出循环语句的3种方法

00:15:22

3.115_Scala编程进阶：多维数组、Java数组与Scala数组的隐式转换

00:16:32

4.116_Scala编程进阶：Tuple拉链操作、JavaMap与ScalaMap的隐式转换

00:09:48

5.117_Scala编程进阶：扩大内部类作用域的2种方法、内部类获取外部类引用

00:14:14

6.118_Scala编程进阶：package与import实战详解

00:17:26

7.119_Scala编程进阶：重写field的提前定义、Scala继承层级、对象相等性

00:16:35

8.120_Scala编程进阶：文件操作实战详解

00:35:35

9.121_Scala编程进阶：偏函数实战详解

00:07:04

10.122_Scala编程进阶：执行外部命令

00:10:36

11.123_Scala编程进阶：正则表达式支持

00:11:39

12.124_Scala编程进阶：提取器实战详解

00:11:56

13.125_Scala编程进阶：样例类的提取器实战详解

00:05:59

14.126_Scala编程进阶：只有一个参数的提取器

00:03:51

15.127_Scala编程进阶：注解实战详解

00:08:39

16.128_Scala编程进阶：常用注解介绍

00:11:24

17.129_Scala编程进阶：XML基础操作实战详解

00:07:02

18.130_Scala编程进阶：XML中嵌入scala代码

00:06:12

19.131_Scala编程进阶：XML修改元素实战详解

00:06:56

20.132_Scala编程进阶：XML加载和写入外部文档

00:03:08

21.133_Scala编程进阶：集合元素操作

00:04:37

22.134_Scala编程进阶：集合的常用操作方法

00:05:48

23.135_Scala编程进阶：map、flatMap、collect、foreach实战详解

00:04:02

24.136_Scala编程进阶：reduce和fold实战详解1

00:02:20

25.136_Scala编程进阶：reduce和fold实战详解2

00:01:36

26.137_环境搭建-CentOS6.4虚拟机安装

00:22:27

27.138_环境搭建-Hadoop2.5伪分布式集群搭建

00:18:38

28.139_环境搭建-Spark1.5伪分布式集群搭建

00:21:39

29.140_第一次课程升级大纲介绍以及要点说明

00:10:08

1.141_Spark核心编程进阶-Spark集群架构概览

00:31:42

2.142_Spark核心编程进阶-Spark集群架构的几点特别说明

00:15:12

3.143_Spark核心编程进阶-Spark的核心术语讲解

00:29:03

4.144_Spark核心编程进阶-SparkStandalone集群架构

00:20:20

5.145_Spark核心编程进阶-单独启动master和worker脚本详解

00:17:59

6.146_Spark核心编程进阶-实验：单独启动master和worker进程

00:21:17

7.147_Spark核心编程进阶-worker节点配置以及spark-evn.sh参数详解

00:26:59

8.148_Spark核心编程进阶-实验：local模式提交spark作业

00:20:39

9.149_Spark核心编程进阶-实验：standaloneclient模式提交spark作业

00:19:37

10.150_Spark核心编程进阶-实验：standalonecluster模式提交spark作业

00:22:42

11.151_Spark核心编程进阶-standalone模式下的多作业资源调度

00:06:48

12.152_Spark核心编程进阶-standalone模式下的作业监控与日志记录

00:09:29

13.153_Spark核心编程进阶-实验：运行中作业监控以及手工打印日志

00:13:15

14.154_Spark核心编程进阶-yarn-client模式原理讲解

00:07:01

15.155_Spark核心编程进阶-yarn-cluster模式原理讲解

00:06:39

16.156_Spark核心编程进阶-实验：yarn-client模式提交spark作业

00:22:31

17.157_Spark核心编程进阶-yarn模式下日志查看详解

00:04:37

18.158_Spark核心编程进阶-yarn模式相关参数详解

00:05:34

19.159_Spark核心编程进阶-spark工程打包以及spark-submit详解

00:09:53

20.160_Spark核心编程进阶-spark-submit示例以及基础参数讲解

00:06:13

21.161_Spark核心编程进阶-实验：spark-submit最简单版本提交spark作业

00:05:24

22.162_Spark核心编程进阶-实验：spark-submit给main类传递参数

00:05:53

23.163_Spark核心编程进阶-spark-submit多个示例以及常用参数详解

00:05:45

24.164_Spark核心编程进阶-SparkConf、spark-submit以及spark-defaults.conf

00:08:34

25.165_Spark核心编程进阶-spark-submit配置第三方依赖

00:04:31

26.166_Spark核心编程进阶-spark算子的闭包原理详解

00:18:18

27.167_Spark核心编程进阶-实验：对闭包变量进行累加操作的无效现象

00:13:17

28.168_Spark核心编程进阶-实验：在算子内打印数据的无法看到现象

00:07:04

29.169_Spark核心编程进阶-mapPartitions以及学生成绩查询案例

00:10:35

30.170_Spark核心编程进阶-mapPartitionsWithIndex以开学分班案例

00:07:10

31.171_Spark核心编程进阶-sample以及公司年会抽奖案例

00:07:15

32.172_Spark核心编程进阶-union以及公司部门合并案例

00:03:32

33.173_Spark核心编程进阶-intersection以及公司跨多项目人员查询案例

00:03:11

34.174_Spark核心编程进阶-distinct以及网站uv统计案例

00:05:36

35.175_Spark核心编程进阶-aggregateByKey以及单词计数案例

00:11:08

36.176_Spark核心编程进阶-cartesian以及服装搭配案例

00:04:44

37.177_Spark核心编程进阶-coalesce以及公司部门整合案例

00:09:49

38.178_Spark核心编程进阶-repartition以及公司新增部门案例

00:04:46

39.179_Spark核心编程进阶-takeSampled以及公司年会抽奖案例

00:03:30

40.180_Spark核心编程进阶-shuffle操作原理详解

00:12:37

41.181_Spark核心编程进阶-shuffle操作过程中进行数据排序

00:03:27

42.182_Spark核心编程进阶-会触发shuffle操作的算子

00:04:11

43.183_Spark核心编程进阶-shuffle操作对性能消耗的原理详解

00:09:09

44.184_Spark核心编程进阶-shuffle操作所有相关参数详解以及性能调优

00:12:53

45.185_Spark核心编程进阶-综合案例1：移动端app访问流量日志分析

00:08:51

46.186_Spark核心编程进阶-综合案例1：日志文件格式分析

00:04:02

47.187_Spark核心编程进阶-综合案例1：读取日志文件并创建RDD

00:04:41

48.188_Spark核心编程进阶-综合案例1：创建自定义的可序列化类

00:03:28

49.189_Spark核心编程进阶-综合案例1：将RDD映射为key-value格式

00:05:50

50.190_Spark核心编程进阶-综合案例1：基于deviceID进行聚合操作

00:06:11

51.191_Spark核心编程进阶-综合案例1：自定义二次排序key类

00:06:57

52.192_Spark核心编程进阶-综合案例1：将二次排序key映射为RDD的key

00:05:59

53.193_Spark核心编程进阶-综合案例1：执行二次排序以及获取top10数据

00:04:04

54.194_Spark核心编程进阶-综合案例1：程序运行测试以及代码调试

00:02:11

55.195_Spark核心编程进阶-部署第二台CentOS机器

00:17:18

56.196_Spark核心编程进阶-部署第二个Hadoop节点

00:06:09

57.197_Spark核心编程进阶-将第二个Hadoop节点动态加入集群

00:06:47

58.198_Spark核心编程进阶-使用yarn-client和yarn-cluster提交spark作业

00:21:48

1.199_Spark内核原理进阶-union算子内部实现原理剖析

00:06:56

2.200_Spark内核原理进阶-groupByKey算子内部实现原理剖析

00:15:54

3.201_Spark内核原理进阶-reduceByKey算子内部实现原理剖析

00:11:21

4.202_Spark内核原理进阶-distinct算子内部实现原理剖析

00:12:34

5.203_Spark内核原理进阶-cogroup算子内部实现原理剖析

00:09:06

6.204_Spark内核原理进阶-intersection算子内部实现原理剖析

00:10:36

7.205_Spark内核原理进阶-join算子内部实现原理剖析

00:08:29

8.206_Spark内核原理进阶-sortByKey算子内部实现原理剖析

00:05:03

9.207_Spark内核原理进阶-cartesian算子内部实现原理剖析

00:06:04

10.208_Spark内核原理进阶-coalesce算子内部实现原理剖析

00:02:21

11.209_Spark内核原理进阶-repartition算子内部实现原理剖析

00:07:14

1.210_SparkSQL实战开发进阶-Hive0.13安装与测试

00:11:35

2.211_SparkSQL实战开发进阶-ThriftJDBC、ODBCServer

00:21:47

3.212_SparkSQL实战开发进阶-CLI命令行使用

00:06:41

4.213_SparkSQL实战开发进阶-综合案例2：新闻网站关键指标离线统计

00:09:43

5.214_SparkSQL实战开发进阶-综合案例2：页面pv统计以及排序

00:20:15

6.215_SparkSQL实战开发进阶-综合案例2：页面uv统计以及排序

00:06:51

7.216_SparkSQL实战开发进阶-综合案例2：新用户注册比例统计

00:10:12

8.217_SparkSQL实战开发进阶-综合案例2：用户跳出率统计

00:06:37

9.218_SparkSQL实战开发进阶-综合案例2：版块热度排行榜统计

00:04:22

10.219_SparkSQL实战开发进阶-综合案例2：测试与调试

00:22:48

1.220_SparkStreaming实战开发进阶-flume安装

00:10:04

2.221_SparkStreaming实战开发进阶-接收flume实时数据流

00:17:18

4.223_SparkStreaming实战开发进阶-高阶技术之自定义Receiver(结束)

00:00:32

3.222_SparkStreaming实战开发进阶-接收flume实时数据流

00:16:07

6.224_SparkStreaming实战开发进阶-kafka安装

00:23:14

7.225_SparkStreaming实战开发进阶-综合案例3

00:05:52

8.226_SparkStreaming实战开发进阶-综合案例3

00:15:34

9.227_SparkStreaming实战开发进阶-综合案例3

00:12:38

10.228_SparkStreaming实战开发进阶-综合案例3：注册用户数实时统计

00:07:58

11.229_SparkStreaming实战开发进阶-综合案例3

00:07:07

12.230_SparkStreaming实战开发进阶-综合案例3

00:05:24

1.231_Spark运维管理进阶-基于ZooKeeper实现HA高可用性以及自动主备切换

00:08:24

2.232_Spark运维管理进阶-实验：基于ZooKeeper实现HA高可用性以及自动主备切换

00:27:42

3.233_Spark运维管理进阶-基于文件系统实现HA高可用性以及手动主备切换

00:04:01

4.234_Spark运维管理进阶-实验：基于文件系统实现HA高可用性以及手动主备切换

00:09:18

5.235_Spark运维管理进阶-作业监控-SparkWebUI以及监控实验

00:34:43

6.236_Spark运维管理进阶-作业监控

00:10:53

7.237_Spark运维管理进阶-作业监控

00:13:40

8.238_Spark运维管理进阶-作业监控

00:24:08

9.239_Spark运维管理进阶-作业监控

00:15:40

10.240_Spark运维管理进阶-作业资源调度

00:05:43

11.241_Spark运维管理进阶-作业资源调度

00:11:15

12.242_Spark运维管理进阶-作业资源调度

00:17:10

13.243_Spark运维管理进阶-作业资源调度

00:15:19

14.244_Spark运维管理进阶-作业资源调度

00:02:52

15.245_Spark运维管理进阶-作业资源调度

00:06:39

1.246_新特性介绍

00:26:56

2.247_新特性介绍-易用性：标准化SQL支持以及更合理的API

00:17:10

3.248_新特性介绍-高性能：让Spark作为编译器来运行

00:13:18

4.249_新特性介绍-智能化：StructuredStreaming介绍

00:09:55

5.250_新特性介绍-Spark1.x的VolcanoIteratorModel技术缺陷分析

00:17:01

6.251_新特性介绍-whole-stagecodegeneration技术和vectorization技术

00:14:26

7.252_Spark2.x与1.x对比以及分析、学习建议以及使用建议

00:48:49

8.253_课程环境搭建：虚拟机、CentOS、Hadoop、Spark等

00:54:34

9.254_开发环境搭建：Eclipse+Maven+Scala+Spark

00:08:13

10.255_SparkSession、Dataframe、Dataset开发入门(1)

00:42:29

11.255_SparkSession、Dataframe、Dataset开发入门(2)

00:15:24

1.256_Dataset开发详解-初步体验untypd操作案例：计算部门平均年龄与薪资

00:12:44

2.257_Dataset开发详解-action操作：collect、count、foreach、reduce等

00:08:55

3.258_Dataset开发详解-基础操作：持久化、临时视图、ds与df互转换、写数据等

00:18:27

4.259_Dataset开发详解-typed操作：coalesce、repartition

00:07:54

5.260_Dataset开发详解-typed操作：distinct、dropDuplicates

00:05:23

6.261_Dataset开发详解-typed操作：except、filter、intersect

00:06:27

7.262_Dataset开发详解-typed操作：map、flatMap、mapPartitions

00:08:33

8.263_Dataset开发详解-typed操作：joinWith

00:02:37

9.264_Dataset开发详解-typed操作：sort

00:01:15

10.265_Dataset开发详解-typed操作：randomSplit、sample

00:02:44

11.266_Dataset开发详解-untyped操作：select、where、groupBy、agg、col、join

00:07:56

12.267_Dataset开发详解-聚合函数：avg、sum、max、min、count、countDistinct

00:06:16

13.268_Dataset开发详解-聚合函数：collect_list、collect_set

00:03:21

14.269_Dataset开发详解-其他常用函数

00:05:48

1.270_StructuredStreaming：深入浅出的介绍

00:26:51

2.271_StructuredStreaming：wordcount入门案例

00:23:59

4.273_StructuredStreaming：创建流式的dataset和dataframe

00:06:42

5.274_StructuredStreaming：对流式的dataset和dataframe执行计算操作

00:09:27

6.275_StructuredStreaming：outputmode、sink以及foreachsink详解

00:11:28

7.276_StructuredStreaming：管理streamingquery

00:03:06

8.277_StructuredStreaming：基于checkpoint的容错机制

00:03:33

9.278_Spark面试、简历中的项目编写以及实际生产环境的集群和资源配置等

1:05:06