mac搭建大数据开发环境

mac安装Hadoop/hbase/spark：mac系统下安装hadoop+hbase+spark单机版+IDEA和scala编写使用spark来计算的helloworld程序_sxjlinux的博客-CSDN博客

mac idea+sbt运行spark程序：mac系统使用idea+sbt运行spark程序_mac spark idea_sxjlinux的博客-CSDN博客

mac安装hive：mac下hive的安装步骤_mac hive_sxjlinux的博客-CSDN博客

spark查询hive：使用idea, sparksql读取hive中的数据_xiaolin_xinji的博客-CSDN博客

踩坑：

1.提示无法连接thrift://master:9083

将hive-site.xml中的master:9083改为127.0.0.1:9083

2.提示Table or view not found: employee; line 1 pos 14

将代码spark.sql(sql2).show()改为spark.sql(sql).show()

spark查询mysql：Spark-SQL读取mysql数据_spark 读取mysql 用sql语句可以吗_sxjlinux的博客-CSDN博客

踩坑：

1.sparkSession无法导入，在maven pom.xml文件中加入如下配置

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.11</artifactId>

<version>2.2.0</version>

</dependency>

2.运行报错Exception in thread "main" java.lang.ClassNotFoundException: com.mysql.cj.jd

将jar包mysql-connector-java-8.0.26.jar导入到项目中

3.运行报错Exception in thread "main" com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure

将代码中的mysql://master:3306/hive改为mysql://127.0.0.1:3306/hive

4.hive运行sql报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

执行命令：hive --service metastore &