scala学习之scala中一些集合的常用函数

最新推荐文章于 2026-05-22 09:48:18 发布
原创 最新推荐文章于 2026-05-22 09:48:18 发布 · 300 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
大数据学习笔记

当前文章被收录于：

大数据学习笔记
36 篇文章 1 人学习

记录大数据学习过程中的一些东西

订阅专栏 查看详情
本文围绕Scala集合常用函数展开学习。介绍了集合基本属性与操作，如长度、遍历等；衍生集合操作，像取头尾、交并差集等；还讲解了集合计算的初高级函数，如reduce、flod等，以及通过Scala集合实现wordCount案例。此外，提到了Scala为利用多核CPU提供的并行集合。

scala学习

集合常用函数

集合的基本属性与常用操作

  • 长度、大小、循环遍历、迭代器、生成字符串、是否有包含等

    object TestSetFunction {
  def main(args: Array[String]): Unit = {
    val list = List(1,2,3,4,5,6,7,8,9)

    // 长度
    println(list.length)
    // 集合大小
    println(list.size)
    //遍历
    list.foreach(println)
    // 迭代器
    for (item <- list){
      println(item)
    }
    // 生成字符串
    println(list.mkString(","))
    // 判断是否包含
    println(list.contains(5))
  }
}
/**
 输出结果为：
9
9
1
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
1,2,3,4,5,6,7,8,9
true
**/
衍生集合的操作

  • 这些操作基于原始集合生成新集合

    // 设置集合
    val numList=List(1,2,3,4)
    val abList = List(3,4,5,6)

    • 获取集合头/尾：

          // 获取集合头
    println(numList.head)
    // 获取集合尾（集合尾指出了集合头以外的全部元素
    println(numList.tail)
    // 集合的最后一个数据
    println(numList.last)
    // 集合的初始数据（除了最后一个数据
    println(numList.init)
/**
1
List(2, 3, 4)
4
List(1, 2, 3)
**/

    • 反转集合

          // 反转
    println(numList.reverse)
/**
List(4, 3, 2, 1)
**/

    • 取（去）前（后）n个元素

          // 取前后n个元素
    println(numList.take(2))
    println(numList.takeRight(2))
    // 去掉前后n个元素
    println(numList.drop(2))
    println(numList.dropRight(2))
/**
List(1, 2)
List(3, 4)
List(3, 4)
List(1, 2)
**/

    • 交、并、差集

          // 并集
    println(numList.union(abList))
    // 交集
    println(numList.intersect(abList))
    // 差集
    println(numList.diff(abList))
/**
List(1, 2, 3, 4, 3, 4, 5, 6)
List(3, 4)
List(1, 2)
**/

    • 拉链（PS：当两个集合的元素个数不相等的时候，会将同等数量的熟进行拉连，多余的数据省略不用

          // 拉链
    println(numList.zip(abList))
/**
List((1,3), (2,4), (3,5), (4,6))
**/

    • 滑窗

          // 滑窗(第一个参数尾滑窗尺寸，第二个参数为步幅)
    val list = List(1,2,3,4,5,6,7,8,9)
    list.sliding(3,2).foreach(println)
/**
List(1, 2, 3)
List(3, 4, 5)
List(5, 6, 7)
List(7, 8, 9)
**/
集合计算的初级函数

  • 一些对集合的计算的简单函数：

    object TestSetFunction2 {
  def main(args: Array[String]): Unit = {
    val list = List(1,2,3,4,5,-12)
    //求和
    println(list.sum)
    //求乘积
    println(list.product)
    //求最大值
    println(list.max)
    //最小值
    println(list.min)
    //排序
    // 按元素大小排序
    println(list.sortBy(x => x))
    // 按元素大小绝对值排序
    println(list.sortBy(x => x.abs))
    // 按元素大小升序降序
    println(list.sortWith((x,y) => x<y))
    // 按元素大小降序排列
    println(list.sortWith((x,y)=>x>y))
  }
}
/**
3
-1440
5
-12
List(-12, 1, 2, 3, 4, 5)
List(1, 2, 3, 4, 5, -12)
List(-12, 1, 2, 3, 4, 5)
List(5, 4, 3, 2, 1, -12)
**/
集合计算高级函数

  • 诸如过滤、映射、扁平化等一系列操作

    object TestAdvancedFunction {
  def main(args: Array[String]): Unit = {
    val list = List(1,2,3,4,5,6,7,8,9)
    val doubleList = List(List(1,2,3,4),List(5,6,7,8),List(9,10))
    val wordList = List("a b c","d e f g","12 13 14")
    // 过滤
    println(list.filter(x => x%2==0))
    //映射
    println(list.map(x=>x*10))
    // 扁平化
    println(doubleList.flatten)
    //扁平化加映射（PS：这种方法相当于先进行map操作然后进行flatten操作）
    println(wordList.flatMap(x=>x.split(" ")))
  }
}
/**
List(2, 4, 6, 8)
List(10, 20, 30, 40, 50, 60, 70, 80, 90)
List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
List(a, b, c, d, e, f, g, 12, 13, 14)
**/

  • reduce方法

    reduce简化（规约）：通过指定的逻辑将集合中的数据进行聚合，从而减少数据最终获得结果

    • 从源码的角度来说，reduce其实就是调用了reduceLeft方法。
    object TestReduce {
  def main(args: Array[String]): Unit = {
    val list = List("1","2","3","4")
    val i = list.reduce((x,y)=>x+y)
    println(i)

    //reduceLeft和reduceRight
    println(list.reduceLeft((x,y)=>x+y))
    println(list.reduceRight((x,y)=>x+y))
  }
}
/**
1234
1234
1234
**/

  • flod方法

    • flod就是一个带有初始值的reduce方法，他使用了函数柯里化，有两个参数列表
      • 第一个参数即为初始值
      • 第二个参数就是处理流程（处理方式）
    object TestFold {
  def main(args: Array[String]): Unit = {
    val list=List("a","b","c","d")

    println(list.fold("start")((x,y)=>x+y))
    // 与reduce类似的，flod本质上调用的flodLeft方法
    println(list.foldLeft("start")((x,y)=>x+y))
  }
}
/**
startabcd
startabcd
**/

  • 通过scala集合实现简单的wordCount

    • 思路，先用flatmap方法对每个字符串进行切分然后展开，再对每个相同单词进行归并
    • 然后对单词计数即可。
    object TestWordCount {
  def main(args: Array[String]): Unit = {
    val list = List("Just test a word count","word count","just a test","test a word count")
    // 首先将每个句子分隔成单词
    val l1=list.flatMap(x=>x.split(" "))
    // 相同单词合并
    val l2 = l1.groupBy(word => word)
    // 计数
    val l3 = l2.map(tuple => (tuple._1, tuple._2.size))
    // 对计数结果做排序
    val result = l3.toList.sortWith(
      (left, right)=>left._2 > right._2)

    // 输出结果
    println(result)
  }
}
/**
List((test,3), (count,3), (a,3), (word,3), (just,1), (Just,1))
**/

  • 通过scala实现相对复杂的wordcount案例：

    • list中为一个一个的元组，元组中有两个元素，一个是一句包含一个以上单词的句子，第二个元素为一个整数，表示该句子出现的次数。
    • 实现思路，通过flatmap将每个元组中的句子单独裁开，统计出现次数后进行group操作，然后再进行reduce操作求和，得到结果。
    object TestWoedCount2 {
  def main(args: Array[String]): Unit = {
    val tuples = List(("Remilia Scarlet is best",3),("Remilia Scarlet and Frandre Scarlet are the sisters",2),("They are not twins",4))
    // 第一步，对每一个元组中的句子进行split并与出现次数相组合、获得一个词，次数的元组列表
    val words = tuples.flatMap{
      t => {
        val wordlist = t._1.split(" ")
        wordlist.map(word => (word,t._2))
      }
    }
    //按每个元组的词进行排序：
    words.sortBy(x => x._1)
    //相同单词进行归并
    val groups = words.groupBy(x => x._1)
    // 每个单词进行求和
    val resultMap = groups.map{
      x => {
        val word = x._1
        val value = x._2.reduce((a,b) => (a._1,a._2+b._2))
        (word,value)
      }
    }
    // 解除map嵌套并排序
    val result = resultMap.map(x=>x._2).toList.sortBy(-_._2)
    println(result)
  }
}
/**
输出结果：
List((Scarlet,7), (are,6), (Remilia,5), (They,4), (twins,4), (not,4), (is,3), (best,3), (Frandre,2), (sisters,2), (and,2), (the,2))
**/
    • 以上过程可以免除过多变量的问题，直接写成：
    object TestWoedCount2 {
  def main(args: Array[String]): Unit = {
    val tuples = List(("Remilia Scarlet is best",3),("Remilia Scarlet and Frandre Scarlet are the sisters",2),("They are not twins",4))
    val result = tuples.flatMap{
      t => {
        val wordlist = t._1.split(" ")
        wordlist.map(word => (word,t._2))
      }
    }.sortBy(x => x._1)
      .groupBy(x => x._1)
      .map{
      x => {
        val word = x._1
        val value = x._2.reduce((a,b) => (a._1,a._2+b._2))
        (word,value)
      }
    }.map(x=>x._2).toList.sortBy(-_._2)
    println(result)
  }
}
/**
输出结果同上
**/
并行集合
  • scala为了充分利用多核cpu，提供了并行集合，用于多喝环境的并行计算
  • 语法：
    • 普通集合：(0 to 20).map{case _ => Thread.currentThread.getName}
    • 并行集合：(0 to 20).par.map{case _ => Thread.currentThread.getName}
    • 结果：
      • Vector(main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main, main)
      • ParVector(ForkJoinPool-1-worker-13, ForkJoinPool-1-worker-13, ForkJoinPool-1-worker-3, ForkJoinPool-1-worker-3, ForkJoinPool-1-worker-3, ForkJoinPool-1-worker-7, ForkJoinPool-1-worker-7, ForkJoinPool-1-worker-5, ForkJoinPool-1-worker-5, ForkJoinPool-1-worker-5, ForkJoinPool-1-worker-11, ForkJoinPool-1-worker-11, ForkJoinPool-1-worker-1, ForkJoinPool-1-worker-1, ForkJoinPool-1-worker-1, ForkJoinPool-1-worker-9, ForkJoinPool-1-worker-9, ForkJoinPool-1-worker-9, ForkJoinPool-1-worker-15, ForkJoinPool-1-worker-15, ForkJoinPool-1-worker-15)
标签
#大数据 #scala #集合
大数据开发语言Scala（一）——scala入门
five小点心的博客
03-19 3万+
package： 包，等同于java中的packageobject：关键字，声明一个单例对象（伴生对象）main方法：从外部可以直接调用执行的方法def 方法名称( 参数名称 : 参数类型 ) : 返回值类型 = { 方法体 }Scala 完全面向对象，故scala去掉了Java中非面向对象的元素，如static关键字，void类型1) staticscala无static关键字,由object实现类似静态方法的功能(类名.方法名)
大数据之Scala简介
cxzaiwyy的博客
02-13 6167
大数据之Scala的简单介绍
大数据技术之Scala语言，只需一篇文章即可，教你学会什么是Scala，教你如何使用Scala
m0_73745224的博客
05-28 7146
Scala的集合有三大类：序列Seq，集Set，映射Map，所有的集合都扩展自Iterable特质。对于几乎所有的集合类，Scala都同时提供了可变和不可变版本，可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变，所以这里的不可变并不是变量本身的值不可变，而是变量指向的那个内存地址不可变。
Scala核心编程（一）Scala语言概述与快速入门
最新发布
记录学习点滴，分享实战干货，一起奔赴技术之路
05-22 387
Scala语言概述与快速入门
Scala简介
热门推荐
qq_46087202的博客
03-24 1万+
目录 一、Scala简介 1.1 概念 1.2 特点 1.3 Scala的优点 二、Scala基本数据类型和运算符 一、数据类型 1.1 类型支持 1.2 定义变量 1.3 类型推断 1.4 Scala解释器 二、字面量 2.1 整数字面量 2.2 字符串字面量 2.3 符号字面量 2.4 插值表达式 三、运算符 3.1 运算符即方法 3.2 逻辑运算符 3.3 赋值运算符 3.4 运算符优先级 3.5 对象相等性 一、Scala简介 1.1 概念 Sca
Scala编程语言
IT小小白的博客
09-17 7009
Scala是一门多范式编程语法，所谓多范式指的就是多种编程风格的语法，Scala主要是一门面向对象编程语言和函数式编程语言。
【Scala入门学习】集合常用方法和函数操作
2301_80912559的博客
10-11 1469
reduce/reduceLeft/reduceRight: 认为每个元素类型一样fold: 带有初始值的reduce，初始值类型和元素类型一样；并行集合下注意初始值的设定；foldLeft/foldRight： 初始值类型和元素类型可以不一样，规约结果和初始值类型一致；并行集合下是单线程运算aggregate：初始值类型和元素类型可以不一样，规约结果和初始值类型一致；并行集合下是利用CPU核数运算。
Scala学习笔记(14)—集合(五)—集合常用函数
m0_56602092的博客
08-21 432
1.基本属性和常用操作 // （1）获取集合长度 println(list.length) // （2）获取集合大小 println(set.size) // （3）循环遍历 for (elem <- list) println(elem) set.foreach(println) // （4）迭代器 for (elem <- list.iterator) println(elem)
第六课 尚硅谷Scala语言学习-集合常用函数
QnHyn
10-17 289
常用函数集合
Scala（六）
2401_82413059的博客
04-07 810
数组包括可变数组、不可变数组，学习了如何定义和创建数组、可变数组和不可变数组之间的转换、多维数组、数组遍历。（2）[Int]是指定可以存放的数据类型，如果希望存放任意数据类型，则指定Any。本节课学习了数组、列表、Set集合、Map集合、元组、集合中常用的函数等等。Map集合同样也学习了可变Map和不可变Map，以及如何访问Map中的数据。集合中常用的函数学习了获取集合的相关属性、获取特定元素相关、排序相关等。二、​​​​​​​可变mutable.Set。一、​​​​​​​不可变 Set。
Scala学习总结④
2401_87981666的博客
04-07 598
List 默认为不可变集合，创建一个 List（数据有顺序，可重复），遍历 List，List 增加数据，集合间合并：将一个整体拆成一个一个的个体，称为扁平化。说的简单点，就是将多个无关的数据封装为一个整体，称为元组。默认情况下， Scala 使用的是不可变集合， 如果你想使用可变集合， 需要引用scala.collection.mutable.Set 包。基于函数的排序，通过一个 comparator 函数，实现自定义排序的逻辑。（4） 向集合中添加元素，返回一个新的 Set。//可变数组转不可变数组。
Scala语言基础
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 621
大数据实验教学系统Scala语言基础变量是一种使用方便的占位符,用于引用计算机内存地址,变量创建后会占用一定的内存空间。   基于变量的数据类型，操作系统会进行内存分配并且决定什么将被储存在保留内存中。因此，通过给变量分配不同的数据类型，你可以在这些变量中存储整数，小数或者字母。   在学习如何声明变量与常量之前，我们先来了解一些变量与常量。 • 一、变量:在程序运行过程中其值可能发生改变的量叫做变量。如:时间，年龄。 • 二、常量 在程序运行过程中其值不会发生变化的量叫做常量。如:数值 3，字符’A’。S
Scala（七）
2401_82413059的博客
04-08 674
集合中的常用函数本节课学习了集合计算高级函数、普通WorldCount案例、复杂WordCount 案例。3.Reduce 简化（归约） ：通过指定的逻辑将集合中的数据进行聚合，从而减少数据，最终获取结果。单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果。本节课继续学习了集合中的常用函数，新学习了队列、并行集合。扁平化+映射（FlatMap）简约（归约）（Reduce）普通WordCount 案例。扁平化（Flatten）分组（GroupBy）过滤（Filter）转化/映射（Map）
Scala编程语言介绍
m0_75111141的博客
12-09 1407
Scala是一种多范式的编程语言，它将面向对象和函数式编程结合在一个简洁的高级语言中，Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。注意：:: 操作符是右结合的，如9 :: 5 :: 2 :: Nil相当于 9 :: (5 :: (2 :: Nil))//在scala中每个表达式都有值，scala中有个Unit类，写做(),相当于Java中的void。//在scala中{}中课包含一系列表达式，块中最后一个表达式的值就是块的值。
Scala 和 Spark 大数据分析（二）
龙哥盟
07-20 822
在计算机科学中，函数式编程（FP）是一种编程范式，它是一种构建计算机程序结构和元素的独特风格。这种独特性有助于将计算视为数学函数的求值，避免了状态变化和可变数据。因此，通过使用 FP 概念，你可以学习如何以确保数据不可变的方式编写代码。换句话说，FP 是编写纯函数的编程方法，是尽可能去除隐式输入和输出，使得我们的代码尽可能只是描述输入与输出之间的关系。这并不是一个新概念，但λ演算（Lambda Calculus），它为函数式编程提供了基础，最早是在 1930 年代提出的。
Scala
Qinyu_6的博客
12-09 526
Scala是一种多范式的编程语言，它将面向对象和函数式编程结合在一个简洁的高级语言中，Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。注意：:: 操作符是右结合的，如9 :: 5 :: 2 :: Nil相当于 9 :: (5 :: (2 :: Nil))//在scala中每个表达式都有值，scala中有个Unit类，写做(),相当于Java中的void。//在scala中{}中课包含一系列表达式，块中最后一个表达式的值就是块的值。
scala语言课程设计
youxiyic的博客
10-05 740
scala语言课程设计 文章目录scala语言课程设计一、课前准备二、课堂主题三、课堂目标四、知识要点1. scala简介2. 为什么要使用scala3. 开发环境安装3.1 安装JDK3.2 安装scala SDK3.3 安装IDEA的scala插件4. scala的REPL交互式解释器5. scala中声明变量6. scala中数据类型7. scala中的条件表达式8. scala中的块表达式9. 循环9.1 for循环9.2 while循环10. 方法和函数10.1 方法10.2 函数10.3 方法
Scala学习总结(1)——基础知识
weixin_44263764的博客
11-13 1589
Scala 学习总结 Scala运行于Java平台（JVM）上，兼容现有的Java程序，Scala代码可以调用Java方法，访问Java字段，继承Java类和实现Java接口。但是Scala也拥有像 Java 类似的特性，它集合了面向对象编程思想与函数式编程思想。 scala具有如下几个特点： 一切变量皆为对象：scala是一门纯粹的面向对象的语言，没有Java中的原生类型。 语法简洁 具有强大的并发性：能够更好地支持分布式系统   由于scala与java有很多的相似特性，故我在学习的过
scala
Qinyu_6的博客
12-08 498
主构造器不存在构造体，那么也就意味着主构造器无法给属性赋值，为了可以给属性赋值，主构造器的形参列表有个变化，主构造器的形参列表可以使用var或者val修饰，一旦主构造器的形参使用var val修饰 那么主构造器中的形参就是类的属性了。【注】在Scala中，函数是一等公民，函数可以在Scala的任何位置充当任何的角色，函数可以声明在类中，也可以声明在函数中，还可以声明在参数列表中、还可以当作返回值，还可以当作一个变量。Unit：对应Java中的void ，用于方法返回值的位置，表示方法没有返回值。
Scala集合常用函数超详细
楚生辉的博客
09-29 1万+
大家好，我是楚生辉，在未来的日子里我们一起来学习Scala相关的技术，一起努力奋斗，遇见更好的自己！Scala是一门的编程语言，一种类似的编程语言，设计初衷是实现可伸缩的语言 、并集成和的各种特性。今天着重分享一下集合常用函数相关知识，有需要的小伙伴可以自行获取与学习~
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值