Hadoop2.7安装及集群配置

最新推荐文章于 2024-04-17 01:31:12 发布

原创最新推荐文章于 2024-04-17 01:31:12 发布 · 573 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Hadoop

本文详细介绍了Hadoop集群的搭建过程，包括环境配置、文件修改等关键步骤，并验证了集群的正确启动。

1、安装jdk配置环境变量

在ect/profile 文件末尾添加如下内容：

JAVA_HOME=/usr/local/jdk7

JRE_HOME=/usr/local/jdk7/jre

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

2、设置ssh无密码登录

详情见《配置ssh无密码登录》

三、

1、将压缩包解压至/usr目录

tar zxvf /home/hadoop/hadoop-2.7.1.tar.gz -C /usr/

2、重命名文件夹

mv
 /usr/hadoop-2.7.1/ /usr/hadoop

3、创建hadoop数据目录

mkdir
 /usr/hadoop/tmp

4、将hadoop文件夹授权给hadoop用户

chown
 -R fl:fl /usr/hadoop/

5、设置环境变量

vi /etc/profile

#追加如下内容

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

6、使环境变量生效

source  /etc/profile

7、测试环境变量设置

  hadoop version

8、修改hadoop-env.sh

  cd
 /usr/hadoop/etc/hadoop/   注：以下命令都是在该目录下执行的

 vi hadoop-env.sh 

 #追加如下内容

 export JAVA_HOME=/usr/java/jdk7

9、修改core-site.xml文件

    vi core-site.xml 

#添加如下内容

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://127.0.0.1:9000</value>

    </property>

    <property>

         <name>hadoop.tmp.dir</name>

         <value>/usr/hadoop/tmp/</value>

         <description>A base for other temporary directories.</description>

    </property>

10、修改hdfs-site.xml文件

    vi hdfs-site.xml

  #添加如下内容

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/usr/hadoop/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/usr/hadoop/hdfs/data</value>

    </property>
11、格式化hdfs
        hdfs namenode -format

        注：出现Exiting with status 0即为成功

12、启动hadoop

        start-all.sh

13、查看是否启动成功

        jps

        如出现以下六个则成功

        51289 ResourceManager

        50829
 NameNode

        51396
 NodeManager

        51702
 Jps

        51135
 SecondaryNameNode

        50933
 DataNode
  14、关闭hadoop

      stop-all.sh

标签

#Hadoop #集群