简述Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系

最新推荐文章于 2026-03-07 10:58:18 发布

原创最新推荐文章于 2026-03-07 10:58:18 发布 · 1.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据面试

当前文章被收录于：

大数据面试

87 篇文章 21 人学习

订阅专栏查看详情

spark

当前文章被收录于：

spark

23 篇文章 2 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文深入探讨了Spark中的数据持久化、缓存与检查点的区别。Persist和Cache将数据保存在内存或磁盘，生命周期短暂，程序结束或unpersist后清除。而CheckPoint的数据则永久存储在HDFS，用于打破RDD的依赖链，提供更可靠的恢复机制。

                    
                    位置

Persist 和 Cache 将数据保存在内存或者磁盘中，CheckPoint 将数据保存在HDFS；
生命周期

Persist 和 Cache 程序结束后会被清除或手动调用 unpersist 方法，CheckPoint 永久存储不会被删除；
RDD依赖关系

Persist 和 Cache，不会丢掉RDD间的依赖关系，CheckPoint 会斩断依赖链。