Seonggil Jeong·Dec 2, 2025Apache Spark Deep Dive: repartition & coalesceSpark를 통해 연산을 하다 보면 파티션의 수를 변경할 때 repartition과 coalesce를 사용할 수 있습니다. repartition, coalesce의 차이와 각각 어떻게 동작하는지 알아보겠습니다.
Seonggil Jeong·Dec 1, 2025Apache Spark Deep Dive: ShuffleSpark에서 Shuffle이 어떤 단계를 거쳐서 일어나고 각 단계마다 파티션 수가 어떻게 변하는지 알아보겠습니다.
sujeet kumar·Sep 29, 2025How Partitions Are Created in Spark While Reading From a Source?Let’s understand it with an example.
Akhil Varthya·Jul 20, 2025Apache Spark Performance: A Guide to Smarter OptimizationApache Spark is a powerhouse for big data processing, but raw speed alone doesn’t guarantee efficiency. Without thoughtful optimization…
Gokulkarthikeyan·Jun 2, 2025Transformation: Repartition Vs CoalescePartition in Spark: It is a logical chunk of data processed by the executors.
