Spark3.X 编译源码支持hive（亲测可用）

最新推荐文章于 2026-01-30 22:05:23 发布

原创

最新推荐文章于 2026-01-30 22:05:23 发布 · 2.2k 阅读

收录于

当前文章被以下社区和专栏收录：

本文介绍了如何在Linux环境下，通过源码编译方式获取支持Hive的Apache Spark 3.0.3版本。首先确保配置好Maven，然后下载Spark源码，接着在源码目录执行指定的编译命令，等待打包完成，最终得到集成Hive的Spark发行版。这个过程对于需要特定Hive版本的Spark用户非常实用。

   Spark官网提供的编译版本默认是不支持Hive的，今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本

一、配置maven

maven配置比较简单，我们就参考 Linux配置Maven_allofme022的博客-CSDN博客_linux配置maven

我们要确保mvn可用，可以检查下配置的maven信息

执行 mvn -version，输出如下证明maven配置正确

二、下载源码

我们下载spark的源码

去官网下载 Downloads | Apache Spark，选择版本3.0.3的源码下载

三、编译

首先解压刚才下载的源码文件到sparksrc

标签

#hive #spark #big data #maven

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

终极量化数据

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

hive3.x编译spark3.x包

06-07

补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩

SPARKSQL3.0-Spark兼容多版本Hive源码分析

探索大数据世界 - 深入解析数据存储、分布式计算与人工智能

12-01

2696

SPARKSQL3.0-Spark兼容多版本Hive源码分析

5 条评论您还未登录，请先登录后发表或查看评论

编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0

hxtog的博客

02-09

4465

文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,

编译Spark3.x，Spark3.x与Hadoop、Hive版本兼容问题的解决

chengyuan54的博客

09-25

7191

编译Spark3.x 1.修改 D:\source\spark-3.0.0\dev\make-distribution.sh 将133行-151行注释，按如下方式修改 VERSION=3.0.0 SCALA_VERSION=2.12 SPARK_HADOOP_VERSION=2.6.0-cdh5.16.2 SPARK_HIVE=1 #VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\ # .

Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）

loftiest的博客

06-21

9827

使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本。由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。下载Hive 3.1.2源码，上传并解压 apache-hive-3.1.2-src.tar.gz下载Linux版IDEA，安装到带有桌面的Linux上。（使用root操作IDEA，bin/idea.sh打开idea）用idea打开apach

Hive On Spark

mousezhengph的博客

01-10

3692

之前数据仓库使用的是hive新版本2.3.0, hive以MapReduce程序跑在yarn集群上。 hive shell常提示： Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.

基于Spark 2.0.0搭建Hive on Spark环境

纠了个结De聖的博客

04-06

9941

如何让HIVE 2.2.0使用Spark 2.0.0计算框架。

Spark 2.3.2源码编译，支持hadoop-2.6.0-cdh5.15.0

kaku812814843的博客

10-30

972

前置准备&软件安装 spark2.3.2源码官方Apache下载地址： http://spark.apache.org/downloads.html 编译spark源码的官方Apache参考文档 http://spark.apache.org/docs/2.3.2/building-spark.html 编译Spark源码的前置要求（官方Apache编译要求说明）： Mave...

Hive3.1.2 on spark

weixin_42728895的博客

08-25

2722

详情参考： https://blog.csdn.net/gulugulu_gulu/article/details/105706090

编译spark2.X源码，参数说明

xzg1109的专栏

01-23

671

编译spark2.X源码这里我们使用源码包中自带的make-distribution.sh文件进行编译。当然在编译之前你可以试着修改一些源代码。在spark源码目录下运行 ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-

Spark1.x编译与安装

Spark MLlib 机器学习

12-16

2277

1. Spark1.x编译与安装 1.1. 基础准备见《1、基础准备（JDK、Maven、服务器配置）》。 1.2. Hadoop集群准备见《2、Hadoop2.2.0 编译与安装》 1.3. Scala安装 1) 下载集群中每台机器安装Scala；Scala官方下载地址： http://www.scala-lang.org/download/

Hive3.1.3与Spark3.3.0兼容性实战：从源码编译到配置优化

最新发布

weixin_29081703的博客

01-30

395

本文详细介绍了如何实现Hive3.1.3与Spark3.3.0的兼容性配置，从源码编译到部署优化的完整流程。通过修改关键配置文件如pom.xml和hive-site.xml，解决常见编译错误，并提供性能调优建议，帮助开发者高效搭建大数据处理环境。

Spark 源码编译

留歌__36的博客

08-03

797

写在前面生产上的spark一般来说都是需要我们自己手动编译的，编译适合自己公司生产环境上的spark版本。参照官网http://spark.apache.org/docs/latest/building-spark.html 前置：使用Maven构建Spark需要Maven 3.5.4和Java 8. Spark 源码编译首先调大CacheSize vim ~/.bash_profile ex...

Hive On Spark2.0.0 搭建

Dzhantao的博客

07-17

3025

Hive作为Hadoop家族成员中一份子，在现在的离线数据分析中的重要性已经不用多说。但是众所周知，hive是以MR程序跑在YARN集群上的，这其中的酸爽，想必用过的都说好了。随着技术的进步，Hive的开发者也已经意识到了MR的效率已经不能满足很多的日常需求，所以从hive二代开始，尝试着用spark引擎来替换掉MR，到现在为止，已经hive已经能支持几个版本的spark了。好了，下面...

[hive on spark] hive on spark 无法启动spark 看这一个就够了！！！！

smoogy的博客

11-06

2206

在hive on spark场景中，在我们执行hive SQL时候，会出现Failed to create Spark client for Spark session的情况这个问题可能包含多种原因，在下面的步骤中，找到适合自己的情况，进行修改。

Spark源码编译

huonan_123的博客

11-12

158

Spark 源码脚本编译,比maven更好的编译详解

HDP SparkSql远程操作Hive时的报错Unrecognized Hadoop major version number: 3.x.x处理，适用于spark2.x与hive3.x之间的交互

nntiek的博客

08-04

1143

1.首先是spark2.3.2依赖包spark-hive_2.11下的hive-exec.1.2.1.spark2.jar这个包没有对hadoop3.0的支持。而且我也按照大佬讲的设置了，也没有生效，换成我自己的spark版本号就可以用了，也没那么多时间深究，奇怪就先奇怪吧。HDP版本3.1.4，Hadoop3.1.4，Spark2.3.2，Scala2.11.x，Hive3.1.0。hive3.x后开始支持ACID，默认是开启的，但是Spark2.x不支持读取ACID表。这个地方我是无比懵比的。

Spark3.x源码编译

S1124654的博客

07-08

769

Spark3.x源码编译

使用spark源码脚本编译CDH版本spark

把伤痕当酒窝

10-18

744

需求描述个人开发环境中大数据所有软件版本都是基于CDH5.15.1版本安装，但是CDH版本spark还停留在1.x版本，并且CDH版本的spark不支持sparkSQL的功能。我们可以使用Apache版本的spark版本进行重新编译满足 CDH版本的spark。版本 spark:spark2.4.4 maven:3.6.2 java:jdk8 cdh版本：5.15.1 注...

maven编译Spark源码

Yashon

11-24

5773

环境说明： Spark 1.5.2，Maven 3.3.3或以上版本，Java7或以上版本。一、设置Maven内存使用：您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M" 您不做如上设置，很可能