Spark Standalone单机模式环境搭建

最新推荐文章于 2025-06-03 10:37:27 发布

原创最新推荐文章于 2025-06-03 10:37:27 发布 · 2.3k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark

Spark 专栏收录该内容

36 篇文章

订阅专栏

本文档详细介绍了如何在CentOS7.5系统上搭建Spark 2.4.8的Standalone单机模式。首先确保安装了JDK1.8，然后在/tools目录下解压Spark安装包。接着配置环境变量，修改spark-env.sh，设置JAVA_HOME及Spark相关参数，修改slaves文件。创建必要目录并配置spark-defaults.conf启用日志记录。最后，启动Spark和历史服务，通过http://niit-master:8080和http://niit-master:18080分别访问Spark UI和历史服务。

Spark Standalone单机模式环境搭建

一、实验环境

JDK版本：jdk1.8.0_171
Spark版本：2.4.8，下载地址
Linux操作系统：CentOS7.5

二、准备工作

JDK安装，请参考《Hadoop2.7.3环境搭建之伪分布式》
Spark安装包已上传至目录/tools（需事先创建）

三、安装部署

解压安装：进入tools下，执行如下命令：
tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /training/

注意：由于Spark的脚本命令和Hadoop有冲突，只需在.bash_profile中设置一个即可（不能同时设置）

修改配置文件：spark-env.sh （事先不存在需要创建或者复制得到）

export JAVA_HOME=/training/jdk1.8.0_171
export SPARK_MASTER_HOST=niit-master
export SPARK_MASTER_PORT=7077
#history 配置历史服务
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/training/spark-2.4.8-bin-hadoop2.7/history"

注意：history目录需要事先创建

修改slaves文件，将localhost改成主机名：niit-master

复制spark-defaults.conf.template为spark-defaults.conf，并添加如下内容

spark.eventLog.enabled           true
spark.eventLog.dir               /training/spark-2.4.8-bin-hadoop2.7/logs

注意：logs目录需要事先创建

启动Spark：进入到安装目录下的sbin目录下，执行：
./start-all.sh
启动Spark历史服务：进入到安装目录下的sbin目录下，执行：
start-history-server.sh
访问SparkUI：http://niit-master:8080
访问Spark历史服务：http://niit-master:18080