spark2.4.0安装
安装步骤
本文是spark2.4.0基于scala2.10.6的spark安装!
spark下载链接:http://mirrors.shu.edu.cn/apache/
scala下载链接:https://www.scala-lang.org/download/2.10.6.html
scala解压复制到所有节点
[hadoop@master ~]$ tar -zxvf scala-2.10.6.tgz
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave01:/home/hadoop/
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave02:/home/hadoop/
spark解压
[hadoop@master ~]$ tar -zxvf spark-2.4.0-bin-hadoop2.6.tgz
更改spark名字(个人习惯)
[hadoop@master ~]$ mv spark-2.4.0-bin-hadoop2.6 spark-2.4.0
配置环境变量
[hadoop@master ~]$ vi .bash_profile
PATH=$PATH:$HOME/bin

本文详细介绍了如何在多节点环境中安装Spark 2.4.0,包括Scala的解压复制、Spark的解压、环境变量配置、`spark-env.sh`文件设置、`slaves`文件配置、目录同步、启动Spark以及验证安装成功的过程。在secureCRT中使用`spark-shell`时遇到的命令行编辑问题也进行了说明。
1013

被折叠的 条评论
为什么被折叠?



