Spark aggregateByKey

原创已于 2023-02-05 20:38:58 修改 · 287 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Spark

于 2020-11-29 14:42:06 首次发布

本文详细介绍了Apache Spark中`aggregateByKey`函数的使用，通过实例展示了如何针对具有相同key的数据进行分区内的最大值计算和分区间的求和操作。通过`SparkContext`创建RDD，并用`aggregateByKey`处理数据，最终输出结果(b,3)(a,3)(c,12)。

Spark aggregateByKey 功能

对相同key数据的按照不同的规则进行分区内计算和分区间计算

案例演示

sc.makeRDD(List((“a”, 3), (“a”, 2), (“c”, 4), (“b”, 3), (“c”, 6), (“c”, 8)), numSlices = 2)

需求：按照key求分区内最大值，分区间求和

在这里插入图片描述

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Desc : 按照Key处理分区内和分区间的逻辑
 */

object Spark15_AggregateByKey {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark15_AggregateByKey").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //创建RDD
    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a", 3), ("a", 2), ("c", 4), ("b", 3), ("c", 6), ("c", 8)), numSlices = 2)
    //分区内求最大值，分区间求和 
    //zeroValue = 0 每个key对应value的初始值
    val resRDD: RDD[(String, Int)] = rdd.aggregateByKey(zeroValue = 0)(
      //分区内求最大值
      (x: Int, y: Int) => math.max(x, y),
      //分区间求和
      (a: Int, b: Int) => a + b
    )
    //打印输出
    resRDD.collect().foreach(println)
    //释放资源
    sc.stop()
  }
}