hadoop在linux部署以及集群笔记

最新推荐文章于 2025-03-10 11:51:50 发布

原创最新推荐文章于 2025-03-10 11:51:50 发布 · 290 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

工作中后台遇到的问题

2020年数据中台

本文详细介绍Hadoop集群的搭建与配置过程，包括环境变量设置、核心配置文件调整、HDFS与YARN的启动，以及如何验证Hadoop的正确运行。同时，文章还介绍了Hadoop的高可用HA模式及日志聚集功能的配置。

hadoop是建立在廉价机器上的集群，实现高可用，高并发

使用hadoop存储都是延时存储

下面安装部署步骤参考 https://blog.csdn.net/ahaotata/article/details/83931597

下载地址 http://mirrors.hust.edu.cn/apache/hadoop/core/

我结合自己进行比较备份

Hadoop部署模式

区分依据nameNode、dataNode、resourceManager、nodeManager等模块运行在几个jvm进程
本地模式        各模块占用JVM进程数1个      各个模块运行在1个机器上
伪分布模式      各模块占用JVM进程数N个      各个模块运行在1个机器上
完全分布模式    各模块占用JVM进程数N个      各个模块运行在N个机器上
HA完全分布模式  各模块占用JVM进程数N个      各个模块运行在N个机器上
Hadoop运行在服务器集群上，生产环境一般都会做HA，以实现高可用.
HA是指高可用，为了解决Hadoop单点故障问题

1. 将hadoop-3.2.1.tar.gz放在/myfile/hadoop文件夹中tar -zxvf hadoop-3.2.1.tar.gz

2. 配置环境变量

vim /etc/profile

export HADOOP_HOME=/myfiles/hadoop/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行
source /etc/profile
验证
echo $HADOOP_HOME

配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数
vim  /myfiles/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/myfiles/java/jdk1.8.0_191

3. hdfs配置启动

配置hadoop核心配置文件

cd /myfiles/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml

//name是不需要变的，fs.defaultFS对应的value是hdfs地址
//hadoop.tmp.dir很多依赖${hadoop.tmp.dir}的配置，存储数据目录，默认是/tmp/hadoop-${user.name}，但是重启会清空，所以换目录
<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.12.121:8020</value>
  </property>
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/myfiles/hadoop/data</value>
  </property>
</configuration>

配置hdfs-site.xml

/myfiles/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

//hdfs临时备份数量
<configuration>
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
</configuration>

（格式化）在hadoop-3.2.1/bin目录格式化 ./hdfs namenode -format

格式化是将hdfs分布式文件系统的DataNode进行分块，统计所有分块后的初始元数据的存储在NodeName中

其中有fsimage文件、.md5文件、seen_txid文件（hadoop版本）、vession文件(NameNode唯一id、集群id)

fsimage是NameNode元数据在内存满了后，持久化保存到的文件。

.md5文件校验fsimage完整性

（启动）

启动nameNode 命令：/myfiles/hadoop/hadoop-3.2.1/sbin/hadoop-daemon.sh start namenode

启动dataNode 命令：/myfiles/hadoop/hadoop-3.2.1/sbin/hadoop-daemon.sh start datanode

启动SecondaryNameNode 命令：/myfiles/hadoop/hadoop-3.2.1/sbin/hadoop-daemon.sh start secondarynamenode

验证是否启动hdfs

测试：
创建demo文件夹
hadoop-3.2.1/bin/hdfs dfs -mkdir /demo 
上传文件
hadoop-3.2.1/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo
查看文件
hadoop-3.2.1/bin/hdfs dfs -cat /demo/core-site.xml

4. yarn配置启动

依然配置hadoop核心

cd /myfiles/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml
//指定 mapreduce 允许在yarn框架上
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

配置yarn-site.xml

/myfiles/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml


//yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法
//yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上

<configuration>
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>192.168.12.121</value>
    </property>
</configuration>

启动resourcemanager命令：/myfiles/hadoop/hadoop-3.2.1/sbin/yarn-daemon.sh start resourcemanager

启动nodemanager命令：/myfiles/hadoop/hadoop-3.2.1/sbin/yarn-daemon.sh start nodemanager

访问yarn的web页面，http://192.168.12.121:8088/

停止hadoop

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

启动3个模块简介

hdfs模块，负责大数据存储，将大文件分块存储，解决单机无法存储大文件。HDFS相对独立模块，可以为yarn服务，也为HBase服务

yarn模块，通用的资源协同和任务调度。解决mapreduce里nameNode负载太大。

mapreduce模块，是一个计算框架，它给出一个数据处理的方式，通过map阶段，reduce阶段分布式的流式处理数据。适用于大数据的离线计算，实时性不适用。

开启历史服务

历史服务开启后，可以在web上看到

运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息

sbin/mr-jobhistory-daemon.sh start historyserver

sbin/mr-jobhistory-daemon.sh stop historyserver

历史服务器的Web端口默认是19888

http://192.168.12.121:19888/jobhistory

开启日志聚集

mapReduce在各个机器上运行，运行过程中的日志在各个机器上，为了统一查看各个机器的日志，将日志存放在hdfs

配置yarn-site.xml

//是否启用日志聚集功能。
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
//设置日志保留时间，单位是秒
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
</property>

重启

sbin/stop-yarn.sh
sbin/start-yarn.sh

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/mr-jobhistory-daemon.sh start historyserver