Spark学习:spark相似算子解析

原创 已于 2023-05-04 16:38:25 修改 · 462 阅读 · 0
于 2023-02-27 20:23:25 首次发布
本文深入探讨Spark中的关键算子，包括Map、Flatmap、MapPartition、repartition与coalesce的分区策略，reduceByKey与groupByKey的聚合操作，以及collect、take和first等数据收集方法。同时，对比分析了repartitionAndSortWithinPartitions与repartition、sort的效率和数据倾斜问题，强调了repartitionAndSortWithinPartitions在减少网络传输和提高可读性上的优势。

spark算子

一、Map、Flatmap和MapPartition

算子 作用
map 接收一个高阶函数f,对每个算子进行f操作
flatmap 接收一个高阶函数f,对每个元素进行f操作,形成一个大的集合,然后在迭代器返回每个元素
mapPartitions map()是每次处理一条数据,mappartitions是每次处理一个分区中的数据,由于是遍历分区,减少了发送到执行器的交互次数,效率优于map(),但执行器内存不足可能会造成OOM(),因此内存空间较大的时候建议用mappartitions

二、repartition和coalesce

算子 作用
repartition 调增rdd的并行度,会引入shuffle
coalesce 只能降低rdd并行度,不会引入shuffle
标签
#spark #学习 #大数据
了解本专栏 订阅专栏 解锁全文 超级会员免费看
sparksql-分组月度环比同比自动化
weixin_49319918的博客
06-17 1286
有一个需求是按月份统计环比和同比值,每次都取一遍非常麻烦,同时也容易出错,这里我把要取的数据报表化,这里提供一个模板,这个SQL写了我好久,经过对比数据发现,这样写是没什么问题的,这里提供一些注意事项 同比环比的定义 月份同比计算 (2021-01 - 2020-01) / 2020-01 月份环比计算 (2021-02 - 2021-01) / 2021-01 在计算同比的时候要注意order by要对月份和年份都要排序,原因是lead 中的order by只指定了一个排序规则,这里都要指定,
spark数据处理示例一：分类
jediael_lu的专栏
08-05 5707
spark数据处理示例一：分类@(SPARK)[spark, ML]spark数据处理示例一分类 知识点 1slice 2NaN 3mapValue 4groupBy 5state 6isNaN 7scala的range结构 一REPL测试 1数据准备 2启动spark 3读入数据并简单验证读入情况 4去除标题行 5提取行中的信息 1定义缺失值的处理 2提取行中的字段 3以case类对象的形式返回分
Spark Core----Spark常用算子
加油
10-11 418
3、groupBy分组结束以后，组中的数据都是都是分组前的每一条完整的数据，对于groupKeyBy来说，分组结束后得到的数据是由kv形式的RDD中的value组成。Transformation算子（转换算子）：由一个RDD转化成另一个RDD，转换算子（懒执行）并不会自己执行，需要行为算子进行触发执行。2、groupBy在进行分组的时候需要指定分组的条件，但是groupKeyBy在分组的时候不需要指定分组条件，会自动根据key继续分组。保存数据，将RDD保存到存储系统。处理数据，RDD之间的转化。
Spark3 新特性之AQE
Shyllin的博客
02-24 5087
Spark3 新特性之AQE
Spark - 简介
weixin_43364172的博客
06-23 244
简介 跨不同的workloads和platforms，是统一的分布式计算引擎。它使用各种范式（paradigms，比如Spark streaming, Spark ML, Spark SQL, and Spark GraphX），可以连接不同的platforms，处理不同的数据workloads。 fast in-memory data processing engine。 由core和库组成。 ...
Spark常用算子详细解析
最新发布
weixin_50227709的博客
03-15 1012
在 Spark RDD 的编程模型中，算子（Operator）分为（转换）和（行动）两大类。代表对 RDD 进行转换并返回新的 RDD（惰性执行），则会触发实际作业执行并返回结果（或写出到外部存储）。下面列举 Spark RDD 常用的算子，并给出简要示例及说明。
Spark常用算子介绍
olifchou的博客
11-13 6129
一、简介 Spark主要包含Transformation和Action两种算子。 Transformation算子 Transformation类算子一般都是懒操作的，即该过程并不提交Job作业，而是等到Action算子才会提交作业。主要包括：map、filter、flatMap、mapPartitions、mapPartitionsWithIndex、sample、union、intersection、distinct、groupByKey、reduceByKey、aggregateByKey、sort
Spark一路火花带闪电——Spark常用算子(参数及其返回值)探究
No_Game_No_Life_的博客
04-04 2652
文章目录转化算子行动算子 转化算子 以数据Seq(1,2,3,3)为例子 map(f:T => U):RDD[U] 映射：将函数应用于RDD内的每个元素，将其返回值构成新的RDD rdd.map(_+1) >> 2,3,4,4 flatMap(f:T => U):RDD[U] 映射：将函数应用于RDD内的每个元素，将返回的迭代器的所有内容构成新的RDD，通常用来...
Day9——学习spark
weixin_64365047的博客
06-14 1155
在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spark的核心（Spark Core）。​ Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，简称RDD）。
Spark常用算子
gltncx11的博客
01-10 577
Spark的算子分为两种 1.transformation（转换）：这种算子是延迟加载，因为消息缓存比较大 一旦使用了transformation算子，sc会记录使用了那些算子，算子里面使用了什么函数 2.action：触发计算 一旦触发action算子，就会立即执行计算 RDD有两种创建方式： 1.是从外界的文件系统中读取数据来创建RDD 2.通过scala集合创建RDD，要将集合并行化（par...
spark之RDD算子
BLADCS的博客
04-02 371
RDD spark core主要针对于RDD，RDD（Resilient Distributed Dataset）即弹性分布式数据集。 RDD是spark的基石，是实现spark数据处理的核心抽象。是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可并行计算的集合。 RDD是基于工作集的工作模式，更多的是面向工作流。 RDD支持两种类型的操作：转换（从现有操作创建新的数据集）和动...
RDD算子详解 - Spark
qq_42994177的博客
09-04 943
算子的分类： 1、transformation 2、action transformation算子 map 返回一个新的分布式数据集，该数据集是通过将源的每个元素传递给函数func形成的。 val f= (x: Int) => x * x val rdd2: RDD[Int] = rdd1.map(f) rdd2.foreach(x => println(x)) filter 返回一个新的数据集，该数据集是通过选择源中func返回true的那些元素形成的。 rdd1..
spark常用RDD算子 - mapPartitionsWithIndex()
小哇
07-28 2227
mapPartitionsWithIndex算子： 与mapPartitions相似,可以看见使用到了哪一个partitions ，func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U]； mapPartitionsWithIndex算子 第二个参数preservesPartition(boolean,默认为false)的含义: 此标志用于优化目的，当您不修改分区时，将它设置为false，
spark相似算子之coalesce和repartition的区别
sheep8521的博客
03-29 538
一.spark 分区 partition的理解： spark中是以vcore级别调度task的。 如果读取的是hdfs，那么有多少个block，就有多少个partition 举例来说：sparksql 要读表T, 如果表T有1w个小文件，那么就有1w个partition 这时候读取效率会较低。假设设置资源为 --executor-memory 2g --executor-cores 2 --num...
spark算子-map vs mapPartitions算子
m0_37817767的博客
07-12 562
spark源码阅读、mapPartitions算子
Spark 函数解析
u011221078的专栏
06-24 1162
转载：http://www.bubuko.com/infodetail-954616.html 原文：http://www.cnblogs.com/zguood/p/4624957.html  Spark学习笔记 Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更
Spark系列---Spark算子RDD(Java、Scala版本)
Mr.Cao
09-26 1482
Spark 一、Spark介绍 Spark 是用于大规模数据处理的统一分析引擎。 Spark是一种与Hadoop相似的开源集群计算环境，Spark使用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内...
spark学习笔记__chap4_spark基础原理__4.3_RDD Action及输出算子详解__进行中
weixin_41521681的博客
04-15 392
RDD是Spark里面最重要的基础抽象，代表的是弹性的分布式的数据集。RDD有很多的实现类，在各个RDD之上提供了transformation和action两大类算子。transformation算子具有惰性，他们并不会触发作业的提交，一个个的transformation算子操作只是定义出了计算所依赖的DAG有向无环图，它只是一个计算的逻辑，而真正会触发作业提交的算子是属于action类别的算...
spark算子调优三：filter与coalesce的配合使用
ITBOY_ITBOX博客
06-11 1063
在Spark任务中我们经常会使用filter算子完成RDD中数据的过滤，在任务初始阶段，从各个分区中加载到的数据量是相近的，但是一旦进过filter过滤后，每个分区的数据量有可能会存在较大差异，如图所示： 1. 每个partition的数据量变小了，如果还按照之前与partition相等的task个数去处理当前数据，有点浪费task的计算资源； 2. 每个partition的数据量不一样，...
spark学习笔记总结
辉哥大数据
06-03 2323
Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark SQL、Spark Streaming、MLlib、GraphX、Spark R等核心组
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值