Spark on Hive 环境配置

最新推荐文章于 2026-06-14 13:36:51 发布
原创 最新推荐文章于 2026-06-14 13:36:51 发布 · 4.7k 阅读 · 16

Spark on Hive 环境配置

Hive Tables - Spark 3.1.2 Documentation (apache.org)

搭建准备

① 准备 Hadoop 和 Hive 环境

Hadoop 介绍及集群搭建参考

Hive 搭建参考

② 准备 Spark on Yarn 环境

环境搭建-Spark on YARN

③ 启动 Hive 的 metastore 服务

# 进入 Hive 安装目录
cd /opt/server/hive-2.1.0
nohup bin/hive --service metastore &

配置修改

修改 hive-site.xml 配置文件：在 3 台 Spark 服务器上都操作

# 进入 Spark 安装目录
cd /opt/server/spark/conf

# 增加 hive-site.xml 配置文件
vim hive-site.xml

# 增加以下配置信息

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://blog.csdn.net/configuration.xsl"?>
标签
#hive #spark #big data
最低0.47元/天 解锁文章
Hive on Spark 配置
hu_wei123的博客
03-30 2736
Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。
SparkSQL on Hive 环境配置
a1786742005的博客
08-15 772
一、环境配置 二、案例
Hive on Spark配置
ayong95的专栏
12-17 2866
Hive on Spark安装,hadoop-3.3.0,spark-3.4.3-bin-hadoop3,apache-hive-3.1.3
Spark On Hive原理和配置
2202_75347029的博客
10-26 4103
包含Hive、MySQL等安装配置
Hive on spark 配置
weixin_44701015的博客
06-19 3197
参考文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.html#hos_running http://bdlabs.edureka.co/static/help/topics/admin_hos_tuning.html https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hos_tuning.html 1
spark-on-hive环境,hive-on-spark环境配置
11-29 581
spark中如果不配置hive环境是无法读取hive表数据的，如下配置： ①如果你的hive元数据存在mysql，把mysql-connector-java-8.0.18.jar复制到spark的jars中 ②在spark的spark-env.sh中添加： export HIVE_HOME=/root/bigdata/hive-2.3.6 export HIVE_CONF_DIR=${HI...
Hive on Spark 项目环境配置及优化
BrightMoons的博客
10-28 1306
背景介绍 背景 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 简介 Hive on Spark是从Hive on MapReduce演进而来，Hive的整体解决方案很不错，但是从查询提交到结
Hadoop+Hive+Spark 伪分布式环境配置全攻略(hive on spark)
最新发布
qq_43313021的博客
06-14 272
本文详细整理了 Hadoop、Hive、Spark 伪分布式环境的核心配置文件及关键参数，适配单机 / 虚拟机测试环境，可直接参考部署，解决新手常见的环境配置、资源不足、组件通信等问题。也许踩了很多坑过来的。
Hive on Spark遇到的问题总结
草莓猿
07-18 2983
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使用Spark执行引...
hive on spark 遇到的坑
沈颖的家
07-06 9203
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使
1.2 离线数仓—数据仓库环境准备
yunweijie_cn的博客
02-21 502
数据仓库环境准备前言一、数据仓库运行环境1.Hive环境搭建1.1 Hive引擎简介1.2 Hive on Spark配置1.3 Yarn环境配置二、数据仓库开发环境1. DataGrip安装使用1.1 DataGrip使用1.2 DataGrip测试使用三、数据仓库模拟数据准备1 用户行为日志准备2 业务数据准备 前言 前面完成了数仓的设计，现在进行数据仓库的环境准备，包括运行环境、开发环境和模拟数据的准备。 一、数据仓库运行环境       &
hive on spark的坑
eric_lee的专栏
01-08 1136
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使
Hive on Spark
曹利荣的博客
07-15 768
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。先看官网的资源Hive on Spark: Getting Started 要想在Hive中使用Spark执行引擎，...
hive on spark
weixin_30607659的博客
06-02 212
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使用Spar...
Hive On Spark环境部署
BigData_Mining的博客
09-30 689
1.hive执行引擎 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。 默认情况下，Hive on Spark 在YARN模式下支持Sp...
11、Hive+Spark数仓环境准备
赞的心路历程
09-09 1481
1）把hive-3.1.3.tar.gz上传到linux的/opt/software目录下2）解压hive-3.1.3.tar.gz到/opt/module/目录下面3）修改hive-3.1.3-bin.tar.gz的名称为hive4）修改/etc/profile.d/my_env.sh，添加环境变量添加内容重启Xshell对话框或者source一下 /etc/profile.d/my_env.sh文件，使环境变量生效。5）解决日志Jar包冲突，进入/opt/module/hive/lib目录。
完整版 .bashrc 环境配置（基于你现有配置 + Spark on Hive 最佳实践）
2201_75342747的博客
11-21 183
【代码】 完整版 .bashrc 环境配置（基于你现有配置 + Spark on Hive 最佳实践）
HiveonSpark配置 Maven+spark编译+Hive配置
u014552259的博客
06-25 2180
一 实验说明 本实验主要完成Hvie on Spark的配置，主要内容包含maven配置、编译spark源码 spark配置 hive配置 二 配置步骤 一、maven配置 编译spark源码需要使用maven，我们先来配置一下maven环境。 第一步：下载maven安装包 编译spark建议使用maven3环境，下载连接为http://maven.apache.org/download.cgi，点击图中红框中的内容即可下载。 第二步、安装 下载完成后将maven安装包上传到Linux系统，我这里上传到了
从Local到On Hive：在CentOS7上一步步搞定Spark 3.5.7的四种部署模式（含Anaconda环境配置）
weixin_30940783的博客
04-22 230
本文详细介绍了在CentOS7系统上部署Spark 3.5.7的四种模式（Local、StandAlone、Yarn和Hive集成），包括Anaconda环境配置和实战操作步骤。通过清晰的代码示例和配置说明，帮助开发者快速搭建分布式计算环境，提升大数据处理效率。特别适合需要在Linux环境下进行Spark部署的技术人员参考。
Spark SQL 读写 Hive Table 部署指南
北桥源木
02-02 1145
遵循本指南，可确保Spark 3.1.2与Hive 3.1.2无缝集成，实现高效稳定的数据读写操作。建议定期检查版本兼容性，并参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值