Repartition和Coalesce的关系与区别

最新推荐文章于 2023-11-05 23:37:20 发布

原创最新推荐文章于 2023-11-05 23:37:20 发布 · 1k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据面试

当前文章被收录于：

大数据面试

87 篇文章 21 人学习

订阅专栏查看详情

spark

当前文章被收录于：

spark

23 篇文章 2 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文详细介绍了Spark中repartition和coalesce两个操作的区别。repartition始终涉及数据shuffle，用于增加或减少RDD的分区数，而coalesce在不进行shuffle的情况下减少分区。通常，在需要增加分区时选择repartition，减少分区且尽量避免shuffle时选择coalesce。理解这两者的正确使用有助于优化Spark作业的性能和资源利用率。

                    
                    关系：

两者都是用来 改变RDD的partition数量 的，repartition 底层调用的就是 Coalesce方法：coalesce(numPartitions, shuffle = true)
区别：

repartition 一定会发生 shuffle，coalesce 根据传进来的参数来判断是否发生 shuffle。

一般情况下增大rdd的partition数量使用repartition，减少partition数量时使用coalesce。