在Ubuntu下的Spark单机部署安装

一．Linux常用操作命令

1.1常用指令

ls　　         显示文件或目录

   -l           列出文件详细信息l(list)

   -a           列出当前目录下所有文件及目录，包括隐藏的a(all)

mkdir         创建目录         

    -p         创建目录，若无父目录，则创建p(parent)

cd             切换目录

echo          创建带有内容的文件。

cat            查看文件内容

cp              拷贝

mv             移动或重命名

rm              删除文件

     -r         递归删除，可删除子目录及文件

     -f          强制删除

rmdir          删除空目录

1.2系统管理命令

stat              显示指定文件的详细信息，比ls更详细

who              显示在线登陆用户

whoami          显示当前操作用户

hostname      显示主机名

uname          显示系统信息

top             动态显示当前耗费资源最多进程信息

ps               显示瞬间进程状态 ps -aux

du               查看目录大小 du -h /home带有单位显示目录信息

df               查看磁盘大小 df -h 带有单位显示磁盘信息

ifconfig          查看网络情况

ping              测试网络连通

netstat           显示网络状态信息

clear              清屏

kill                杀死进程，可以先用ps 或 top命令查看进程的id，然后再用kill命令杀死进程。

 1.3打包压缩相关命令

tar:               打包压缩

     -c             归档文件

     -x             压缩文件

     -z             gzip压缩文件

     -j             bzip2压缩文件

     -v             显示压缩或解压缩过程v(view)

     -f             使用档名

例：

tar -cvf /home/abc.tar /home/abc             只打包，不压缩

tar -zcvf /home/abc.tar.gz /home/abc       打包，并用gzip压缩

tar -jcvf /home/abc.tar.bz2 /home/abc     打包，并用bzip2压缩

当然，如果想解压缩，就直接替换上面的命令 tar -cvf  / tar -zcvf  / tar -jcvf 中的“c” 换成“x” 就可以了。

1.4.vim使用

vim三种模式：命令模式、插入模式、编辑模式。使用ESC或i或：来切换模式。

命令模式下：

:q                     退出

:q!                    强制退出

:wq                  保存并退出

:set number        显示行号

:set nonumber    隐藏行号

/apache            在文档中查找apache 按n跳到下一个，shift+n上一个

yyp                 复制光标所在行，并粘贴

二．JDK安装

2.1安装环境：Ubuntu14.04 64位操作系统

2.2安装步骤：

1.下载JDK，本文下载版本是jdk-8u5-linux-x64.tar.gz 下载地址：http://www.oracle.com，

2.在Ubuntu的计算机中usr/lib/ 下创建jvm文件夹

  cd /usr/lib

  sudo mkdir jvm

3. 找到下载好的jdk-8u5-linux-x64.tar.gz，将其移动到jvm文件夹下并解压，执行以下命令：

sudo mv ./下载/jdk-8u5-linux-x64.tar.gz//usr/lib/jvm

sudo tar –xzvf jdk-8u5-linux-x64.tar.gz

4. 对解压后文件夹进行改名，执行以下命令：

sudo mv ./ jdk-8u5-linux-x64.tar.gz/./ java-8u5-sun

5. 配置环境变量，执行命令sudo gedit ~/.bashrc进入编辑状态，在文本末尾添加环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8u5-sun 
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

6．然后对文本进行保存 在终端输入命令:

 source ~/.bashrc

7. 测试是否安装好，在终端输入：

java–version  出现版本信息

三．Scala安装

3.1 安装Java

1.请确保你的Linux系统中已经安装了Java JDK1.5或更高版本，并设置了JAVA_HOME环境变量，而且已经把JDK的bin目录添加到PATH变量。Java环境可选择 Oracle 的 JDK，或是 OpenJDK。例直接安装OpenJDK

sudo apt-get install openjdk-7-jreopenjdk-7-jdk 

3.2.安装scala环境

1.访问Scala官网（http://www.scala-lang.org），下载Scala。本安装环境需下载scala-2.11.8.tgz。

2.定Scala的安装目录，我们选择安装在“/usr/local/”目录下，然后，把刚才下载的scala-2.11.8.tgz文件解压缩到“/usr/local/”目录下，具体如下：

sudo tar -zxf ~/下载/scala-2.11.8.tgz -C/usr/local   # 解压到/usr/local中

cd /usr/local/

3.将/usr/local/目录下的scala-2.11.8文件夹重命名为scala

sudo mv ./scala-2.11.8/ ./scala        

4.修改path环境变量，

vim ~/.bashrc

5.在.bashrc文本里添加环境变量

    export PATH=$PATH:/usr/local/scala/bin

6.让该环境变量生效

source ~/.bashrc

7.测试，输入命令：

    scala

输入scala命令以后，屏幕上显示scala和Java版本信息，并进入“scala>”提示符状态，就可以开始使用Scala解释器了，你就可以输入scala语句来调试程序代码了。测试用例如下;

scala> 8*2+5

res0: Int = 21

四．Spark单机模式安装

1.下载spark，到spark官网下载（http://spark.apache.org/downloads.html），按照如图下载：

2.将下载好的spark移动到usr/local文件夹下，执行以下命令：

sudo mvspark-1.6.1-bin-hadoop2.6.tgz /usr/local

3.解压，执行以下命令：

sudo tar –xzvfspark-1.6.1-bin-hadoop2.6.tgz

4．对解压后的文件进行重命名:

sudo mvspark-1.6.1-bin-hadoop2.6 ./spark

5．添加环境变量：

sudo gedit./bashrc

在文档末尾添加：

exportSPARK_HOME=/usr/local/spark

exportPATH=${SPARK_HOME}:$PATH

6.保存退出，让该环境变量生效

source./bashrc

7.要运行spark-shell 需要对spark进行配置，首先进入spark的conf文件夹：

cd/usr/local/spark/conf

8．复制一份spark-env.sh.template,命名为spark-env.sh

sudo cp spark-env.sh.templatespark-env.sh

9．对spark-env.sh文件进行修改添加如下配置：

exportSPARK_MASTER_IP=127.0.0.1

exportSPARK_LOCAL_IP=127.0.0.1

10．启动spark-shell，首先进入/usr/local/spark/bin目录

然后执行 ./spark-shell

从中我们可以看出此版本spark需要Scala和Java的版本。

11.测试，执行word count。启动spark-shell后会打开Scala命令行，如下图：