scala运行异常Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$

最新推荐文章于 2025-01-08 21:24:54 发布

原创最新推荐文章于 2025-01-08 21:24:54 发布 · 1.4k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#scala #intellij idea

在IntelliJ IDEA中使用Scala和Spark开发时遇到'Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$'的异常。问题的根本原因是Scala版本不一致，特别是与Spark自带的Scala版本冲突。解决方法是删除系统中原有的Scala版本，替换为Spark自带的版本，然后重新运行程序，异常即可消除。

使用intelli idea +scala+spark，运行程序代码如下：

package big.data.analyse.mllib
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.fpm.FPGrowth
object FP {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("FP") //设定名称
    val sc = new SparkContext(conf)                                 //创建环境变量实例
    val data_path = "D:\\下载\\2.sample.txt"
    val data = sc.textFile(data_path)
    val examples = data.map(_.split(" "))
    val minSupport = 0.2
    val model = new FPGrowth().setMinSupport(minSupport).run(examples) //打印结果
    println(s"Number of frequent itemsets: ${model.freqItemsets.count()}")
    //输出满足最小置信度的关联规则及置信度
    model.generateAssociationRules(0.8).collect().foreach
    {
      rule =>
        println("[" + rule.antecedent.mkString(",")
          + "=>"
          + rule.consequent.mkString(",") + "]," + rule.confidence)
    }
//输出所有的频繁项
    model.freqItemsets.collect().foreach {
      itemset =>
        println(itemset.items.mkString("[", ",", "]") + ", " + itemset.freq)
    }
  }
}}