【Linux】CentOS 7 安装 hadoop-2.8.5详细过程

最新推荐文章于 2025-05-14 16:36:40 发布

原创最新推荐文章于 2025-05-14 16:36:40 发布 · 656 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop安装 #CentOS 7

Linux 专栏收录该内容

8 篇文章

订阅专栏

本文提供Hadoop2.8.5的详细安装与配置步骤，包括环境搭建、SSH免密码登录设置、HDFS启动与格式化等关键操作。同时，解决可能遇到的防火墙与SELinux问题。

参考博客：https://blog.csdn.net/cafebar123/article/details/73500014

前提：已经安装了jdk（可参考：https://blog.csdn.net/hd520superman/article/details/102858061）

hadoop-2.8.5资源下载：https://pan.baidu.com/s/1zTQ0mPkro8hJkbr9eErqWA
提取码：eb7k

1.将文件上传；
在这里插入图片描述
2.解压文件；

cd /usr/hadoop/

tar -zxvf hadoop-2.8.5.tar\[1\].gz

3.配置hadoop；
（1）.修改/usr/hadoop/hadoop-2.8.5/etc/hadoop/hadoop-env.sh 文件的java环境，将java安装路径加进去：

cd /usr/hadoop/hadoop-2.8.5/etc/hadoop

vi hadoop-env.sh

标记处加上jdk安装路径：/usr/java/jdk1.7.0_80
在这里插入图片描述
（2）配置hadoop环境变量；

vi /etc/profile

加上

#配置hadoop环境变量
export HADOOP_HOME=/usr/hadoop/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin

在这里插入图片描述
使修改生效；

source /etc/profile

4.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件，

<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

fs.defaultFS直接用localhost就行，如果重命名了主机名，也可以用重命名的。

5.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml ；

<configuration>
    <property>
    	<name>dfs.name.dir</name>
    	<value>/usr/hadoop/hdfs/name</value>
    	<description>namenode上存储hdfs名字空间元数据 </description> 
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>


    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

6.SSH免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

7.hdfs启动与停止
第一次启动hdfs需要格式化，之后启动就不需要的：

cd /usr/hadoop/hadoop-2.7.3
./bin/hdfs namenode -format

#启动命令
./sbin/start-dfs.sh

#停止命令
./sbin/stop-dfs.sh

第一次启动时，出现判断直接全部“yes”
在这里插入图片描述
8.检查是否安装成功；注意先关闭虚拟机防火墙，然后在浏览器输入http://192.168.14.131:50070（注意192.168.14.131为虚拟机的ip），出现如下则成功；

【注意】
CentOS 7.0默认使用的是firewall作为防火墙