Spark mapValues

原创已于 2023-02-05 20:38:48 修改 · 1.3k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Spark

当前文章被收录于：

Spark

44 篇文章 4 人学习

Spark

订阅专栏查看详情

当前文章被以下社区和专栏收录：

于 2020-11-30 15:16:12 首次发布

本文通过实例展示了如何使用Apache Spark的mapValues函数对RDD中值类型为Int的元素进行操作，即每个元组的第二个元素增加9，并将结果打印到控制台。主要涉及SparkContext、RDD创建及mapValues的使用。

Spark mapValues 功能

对Value进行操作

案例演示

需求：对val rdd: RDD[(String, Int)] = sc.makeRDD(List((“x”, 1), (“y”, 2)))中的values+9，然后输出到控制台，形式如下

(x,10)
(y,11)

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Desc : 对Value进行操作
 */
object Spark19_MapValues {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark19_MapValues").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //创建RDD
    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("x", 1), ("y", 2)))
    //将value加 9
    val mapValuesRDD: RDD[(String, Int)] = rdd.mapValues((x: Int) => {
      x + 9
    })
    //打印输出
    mapValuesRDD.collect().foreach(println)
    //释放资源
    sc.stop()
  }
}