Spark配置HOME之后使用hive命令会报 $SPARK_HOME/lib/spark-assembly-*.jar: 没有那个文件或目录

最新推荐文章于 2023-04-12 19:23:05 发布

原创最新推荐文章于 2023-04-12 19:23:05 发布 · 1.3k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据Hive技术

当前文章被收录于：

大数据Hive技术

28 篇文章 3 人学习

Hive研发

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文解决了一个特定的Hive与Spark2.0兼容性问题。当使用较旧版本的Hive时，在Spark2.0及更高版本中可能会遇到与lib路径相关的问题。文章详细介绍了如何修改hive命令脚本，将lib目录更改为jars，以确保Hive能够正确运行。

报这个错误说明你的hive使用的版本较低，hive命令脚本任然是Spark2.0之前的结构

Spark2.0之后没有lib这一文件了，改成了jars文件，因此我们编辑hive命令脚本找到如下内容

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi