spark程序jar与spark lib jar冲突解决，加载顺序

最新推荐文章于 2022-06-28 19:39:10 发布
原创 最新推荐文章于 2022-06-28 19:39:10 发布 · 837 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
博客主要介绍了Spark程序jar与Spark lib jar冲突的解决办法及加载顺序。默认情况下，SPARK_HOME/lib/jar包优先级高于用户程序jar包，若想让用户程序jar优先执行，可使用特定参数，并在spark conf中将其设为“true”。

spark程序jar与spark lib jar冲突解决，加载顺序

由于默认情况下，优先级SPARK_HOME/lib/jar包 > 用户程序中的jar包， 如果想让用户程序jar优先执行，那么要使用 spark.yarn.user.classpath.first (spark1.3以前）或者 spark.executor.userClassPathFirst 和spark.driver.userClassPathFirst 参数。
这些参数能让用户的jar覆盖SPARK_HOME/lib的jar。在spark conf中将他们设置为"true"即可。

标签
#spark #java
IndianHao
关注
spark引用jar包_spark程序jar与spark lib jar冲突，加载顺序
weixin_32098599的博客
02-11 1021
用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法(java.lang.NoSuchMethodError)的问题。本文总结下产生此类问题的原因及解决方案。例子比如我们有个spark程序用到了guava的Splitter类：import com.google.common.base.Splitter;...Li...
Use spark.{driver,executor}.userClassPathFirst
fly_time2012的专栏
09-22 3164
Hi I'm on Spark 1.6.1, and it happens that we override Yarn classpath in yarn-site.xml. So I have a simple job that reads avro files using com.databricks.avro library. When I run my job like that, it...
spark的conf常用配置
m0_46142780的博客
12-22 2379
.set(“spark.rdd.compress”, “true”) //rdd压缩 .set(“spark.sql.shuffle.partitions”, “200”) //shuffle分区(sql) .set(“spark.default.parallelism”, “200”) //shuffle分区 .set(“spark.sql.auto.repartition”, “true”) //开启自动分区 .set(“spark.executor.userClassPathFirst”, “true
Spark jar包加载顺序及冲突解决
epitomizelu的专栏
03-23 6817
一，spark jar包加载顺序 1，SystemClasspath – Spark安装时候提供的依赖包，通常是spark home目录下的jars文件夹 【SystemClassPath】 2，Spark-submit --jars 提交的依赖包 【UserClassPath】 3，Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】 二，jar包冲突解
spark 问题锦集
weixin_42438913的博客
06-29 600
1、spark程序jar与spark lib jar冲突，加载顺序 提交spark作业经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的jar包冲突问题 比如spark程序用到了guava的Splitter类： import com.google.common.base.Splitter; ... List list = Splitter.on("/").splitToList(output); 程序在本地模式下能正
新手上路请多关照
qq_30365511的博客
11-27 388
web学习 一.网络运行原理 1.运行PHP的环境 php语言包 web服务器软件（Apache） 数据库 我们一般用PHPstudy（集成环境） 2.网络域名和地址 IP地址指服务器地址例如127.0.0.1，而域名则为了便于记忆。且IP地址与域名有对应关系。例如在浏览器上输入localhost和输入127.0.0.1指定的是同一个服务器。 当你输入一个URL时会在本地host文件寻找对应的IP...
大家好啊，新手一枚，请多关照哈
fp5080的博客
06-28 164
大家好啊，新手一枚，请多关照哈
新手嫁到,请多关照
xiazai5739的专栏
10-13 379
新手嫁到,请多关照
新手上路，请多关照！
疯狂的小季
01-29 316
笔者是一个程序开发的痴迷爱好者，从事web开发已经有一段时间了。从今天开始，我会在这里跟大家分享一些我在开发道路上的经验，因为笔者是从一个普通的本科院校毕业的学生，仅仅只靠着在学校学习的程序知识。不得不说在程序开发的道路上走了很多弯路，笔者在读完大三后便和学校申请出去实习，也是很幸运，很容易的得到了一份工作，一个五百人左右的日企，入职之后，先是写了两个月的需求文档，然后画了一个月的流程图，慢慢的接
Spark依赖包加载顺序和冲突解决方案
热门推荐
freeRoad
05-31 1万+
Spark 依赖包来源 我们知道Spark application运行加载依赖有三个地方： SystemClasspath -- Spark安装时候提供的依赖包 Spark-submit --jars 提交的依赖包 Spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包 Spark...
Spark任务内存优化记录
TURING.DT
02-20 700
前两天又接了一个Spark任务，倒不复杂，依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群，有些欲哭无泪。 事情还是要做的，反正执行时间要求不太严格，只能想办法尽量压缩内存的占用了。 先说下背景：现在使用的yarn集群由8个容器组成，每个容器的内存大概20G；工作内容是检索数据，源数据大概1T左右，取出来的目标结果数据在2~8G这样子。 最开始的时候查询任务是直接使用sparkSql来完成。随着数据量的上升很快就遇到了最经典的两个问题：Sta
Spark hive类总是优先记载应用里面的jar包,跟spark.{driver/executor}.userClassPathFirst无关
monkeyboy_tech的博客
08-09 802
背景 最近在弄spark on k8s的时候，要集成同事的一些功能，其实这并没有什么，但是里面涉及到了hive的类问题（具体指这个org.apache.hadoop.hive.包下的类）。之后发现hive类总是优先加载应用jar包里的类，而忽略掉spark自带的系统jars包，这给我带了了很大的困扰，大约花了一两周的时间，终于把这个问题排查清楚了。 问题分析 直接分析： 我们知道在spark提交的时候，会获取URLClassLoader去加载类，如下： private def runMain(args: S
Spark中用户业务代码里使用的jar与框架中内置jar冲突
liuwei0376的专栏
09-26 1449
最近在开发一个调用第三方接口, 并将接口中数据保存值mysql里的功能时, 遭遇了java开发中常见的jar冲突场景. 开发背景是这样的: 大数据对外输出的业务数据中, 有一块是关于业务A的状态判断的(如: 如何判断一个订单为有效订单), 并围绕业务A来做后续业务的数据分析工作. 关于"业务A的状态判断"这块业务非常复杂, 设计到三十多个业务流程的分支判断, 早前大数据自己实现了一版(准实时基于spark;离线基于hive), 但由于分支覆盖面考虑不周, 偶尔会报一些issue, 这些issue或多或
spark动态加载jar包
he329867402的专栏
08-25 1953
spark任务在执行过程中动态加载远程（hdfs）的jar包，并实例化对象进行逻辑处理。记录过程中遇到的类加载问题。 一、hdfs协议 在实现动态加载的过程中URLClassLoader需要支持hdfs协议，hadoop有现成的处理方式。通过调整UrlStreamHanderFactory来实现URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 备注：需要添加hadoop相关的jar包 hadoop-common和hadoo
spark-jar冲突解决方案
寒夜
09-10 1308
文章目录1. 问题描述2. spark on yarn cluster模式的解决方案3. 使用maven-shade-plugin 1. 问题描述   spark项目的包和cdh集群中的冲突了，而且我暂时使用的是client 模式在yarn上部署（如果是cluster模式可以使用spark的config配置来解决）,所以只能使用 maven-shade-plugin的relocation功能来实现。 2. spark on yarn cluster模式的解决方案 将下面两个参数都设置为true spark.
Scala,Spark依赖jar包冲突解决方法
Code_LT的博客
04-21 4504
问题背景： 在提交任务运行时，报了如下错误： Caused by: java.lang.BootstrapMethodError: call site initialization exception … Caused by: java.lang.invoke.LambdaConversionException: Invalid receiver type interface org.apache.http.Header; not a subtype of implementation type inter
spark作业jar包冲突
kehan_c的博客
07-18 925
可以在submit-spark时使用如下配置： –conf spark.yarn.user.classpath.first=“true” 和 –jars xxxxxxx,xxxxxxx 这个设置是优先使用用户提交的jar，在遇到冲突时默认先使用用户提交的jar包，这样就可以屏蔽公共jar包了。（尤其适合公司使用） ...
Spark kryo Jar包冲突问题排查
半日闲的博客
01-16 4561
错误日志 Exception in thread "adaptive-query-stage-0" java.lang.NoSuchMethodError: com.esotericsoftware.kryo.Kryo.setInstantiatorStrategy(Lorg/objenesis/strategy/InstantiatorStrategy;)V at com.twitter.ch...
优雅解决Spark Application jar包冲突问题
小小北漂
03-18 4247
前言 当我们开发的Spark Application变得越来越复杂，依赖的jar包越来越多时，难免会碰到jar包冲突的问题。 举个例子： 我们的业务代码用到了一个第三方库，好比：guava（虽然好用，但是版本间的兼容性差的一坨翔） Spark本身也依赖了guava，但是和业务代码中依赖的guava版本不同 这种情况下，把我们的Spark Application提交到集群里执行，很有可能因为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值