spark outline

SparkCore

• RDD 概述 特性

Spark RDD 概述 特性

• RDD的创建和分区规则

Spark RDD 创建和分区规则

• Transformation转换算子

1. Value类型

Spark map和mapPartitions

Spark mapPartitionsWithIndex

Spark flatMap

Spark glom

Spark groupBy

Spark filter

Spark sample

Spark distinct

Spark coalesce和repartition

Spark sortBy

2. 双Value类型

Spark union并集, subtract差集, intersection交集, zip拉链

3. Key-Value类型

Spark partitionBy

Spark reduceByKey

Spark groupByKey

Spark aggregateByKey

Spark foldByKey

Spark combineByKey

Spark reduceByKey、aggregateByKey、foldByKey、combineByKey 小结

Spark sortByKey

Spark mapValues

Spark join和cogroup

SparkCore 阶段练习：广告点击Top3

• Action 行动算子

spark Action 行动算子

• RDD序列化 闭包检查 序列化方法和属性 Kryo序列化框架

spark 序列化 序列化方法和属性 Kryo序列化框架

• RDD依赖关系

spark 窄依赖 宽依赖 Spark job 划分 DAG有向无环图

• RDD持久化

RDD Cache缓存 CheckPoint检查点 缓存和检查点区别 检查点存储到HDFS集群链接

• spark 分区器

spark 分区器

• Spark Core IO 读写

RDD 读取json 读取MySQL 写入MySQL链接

• 累加器

spark 自定义累计器

• 广播变量

spark 广播变量链接

• SparkCore项目实战

SparkCore项目实战 需求一Top10热门品类 需求二Top10热门品类中每个品类的Top10活跃Session统计 需求三计算页面单跳转换率链接

Spark SQL

Spark SQL DataFrame DataSet概述

Spark SQL DataFrame DataSet概述 链接

• Spark SQL API

Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF链接

• Spark SQL IO 读写

Spark SQL 代码读取mysql&代码读取hive

• SparkSQL项目实战：TopN

SparkSQL项目实战：TopN链接

Spark Streaming

• Spark Streaming概述 特点 架构

Spark Streaming概述 特点 架构

• DStream创建 通过监听端口 自定义数据源 Kafka数据源

DStream创建 通过监听端口 自定义数据源 Kafka数据源链接

• DStream无状态化转换原语&有状态转化原语

DStream无状态化转换原语&有状态转化原语

• DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据

DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据

• Spark Streaming项目实战

Spark Streaming项目实战 项目一每天每地区热门广告Top3 项目二最近12s广告点击量实时统计

Spark 内核

Spark 内核