Hadoop伪分布配置

        正式安装Hadoop伪分布式模式，总共有5个文件需配置，它们分别hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。这些配置文件都在 ${HADOOP_HOME}/ etc/hadoop 目录下。

首先进入Hadoop配置文件所在的目录

cd ${HADOOP_HOME}/etc/hadoop

3.1配置hadoop-env.sh

a.进入配置文件        vim hadoop-env.sh

b.找到 export JAVA_HOME 一行,配置jdk的安装目录（修改为前面jdk的安装路径）

export  JAVA_HOME=/opt/modelu/jdk1.8.0_301

3.2配置core-site.xml

        fs.defaultFS属性指定默认文件系统的URI地址，一般格式为“hdfs://host:port”。其中，host可以设置为操作系统的IP地址以及主机名称中的任意一个，这里设置为先前自己改的主机名；port如果不配置，则使用默认端口号8020。

        hadoop.tmp.dir指定Hadoop的临时工作目录，设置为home/hadoop/tmp，<用户名>请根据实际情况修改。注意：一定要配置hadoop.tmp.dir，否则默认的tmp目录在/tmp下，重启操作系统时tmp目录下的dfs/name文件夹会被删除，造成没有NameNode。

vim core-site.xml

然后在configuration的两个标签中修改以下内容：

<configuration>    

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/tmp</value>

    </property>

</configuration>

3.3配置hdfs-site.xml

设置HDFS数据块的副本数量，dfs.replication的默认值是3，在伪分布式设置为1。

vim hdfs-site.xml

然后修改以下内容：

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
        <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/opt/module/hadoop/tmp/dfs/name</value>
        </property>
        <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/opt/module/hadoop/tmp/dfs/data</value>
        </property>

</configuration>

3.4配置mapred-site.xml

mapreduce.framework.name默认值为local，设置为yarn，让MapReduce程序运行在YARN框架上。

vim mapred-site.xml

修改以下内容：

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

3.5配置yarn-site.xml

        yarn.resourcemanager.hostname属性为资源管理器的主机，设置为操作系统的主机名或IP地址。

        yarn.nodemanager.aux-services属性为节点管理器的辅助服务器，默认值为空，设置为mapreduce_shuffle。

vim yarn-site.xml

修改以下内容：

<configuration>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop01</value>

        <!-- 以上主机名或IP地址按实际情况修改 -->

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

3.6在 hadoop-env.sh 文件末尾加入以下内容

vim /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh 

直接按CTRL + G调到文末增加以下内容：

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

3.7格式化hdfs

注意： 在格式化前，可以先测试一下

java -version

hadoop version

如果都可以出现版本号，说明前面的环境变量配置都没问题，下面可以格式化

        格式化的过程是创建初始目录和文件系统结构的过程。注意：格式化只需进行一次，下次启动不要再次格式化，否则会少NameNode进程。

hdfs namenode -format

3.8启动 NameNode 和 DataNode

start-dfs.sh

start-yarn.sh

4.9Web 访问Hadoop

在浏览器地址栏输入http://192.168.157.128:9870/ 其中 192.168.157.128为主机 IP 地址，9870 为端口号

在浏览器地址栏输入http://192.168.157.128:8088/ 其中 192.168.157.128为主机 IP 地址，8088 为端口号

4.10查看HDFS进程

jps