spark1.6.0, hive1.1.0
pom文件添加
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.6.0</version> <scope>provided</scope> </dependency>
在spark-submit中添加
--jars lib/datanucleus-core-3.2.10.jar,/lib/datanucleus-api-jdo-3.2.6.jar, /lib/datanucleus-rdbms-3.2.9.jar \
--files conf/hive-site.xml
这三个jar包要添加在这里,我添加到pom文件中报错
本文介绍如何在 Spark 1.6.0 中集成 Hive 1.1.0,通过配置 pom 文件添加依赖,并说明了在 spark-submit 命令中加入特定 jar 包及配置文件的方法。
2829

被折叠的 条评论
为什么被折叠?



