hadoop高可用安装

最新推荐文章于 2024-12-17 11:54:08 发布

原创最新推荐文章于 2024-12-17 11:54:08 发布 · 244 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文深入解析Hadoop2.x的HA架构，包括HDFS、MapReduce和YARN的组成，以及namenode、datanode等关键组件的工作原理。同时提供jdk1.7.0、zookeeper和xshell等软件的下载链接，为Hadoop高可用集群的搭建奠定基础。

hadoop高可用安装（一）准备前期工作和理解

一、理解hadoop2.x

Hadoop 2.x由**HDFS、MapReduce和YARN**三个分支构成；
HDFS：NN Federation（联邦）、HA；
2.X:只支持2个节点HA，3.0实现了一主多从
MapReduce：运行在YARN上的MR；
离线计算，基于磁盘I/O计算
YARN：资源管理系统

一、理解hadoop2.0HA的框架

[外链图片转存失败,源站可能有防盗在是这里插入!链机制,描述]建议将图片上https://传(imblo.-dnimg.cn/202006zbBL15101631725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNubmV0LzJ1bGFvdHk=,size_16,color_FFFFFF,t_Z0783)(我)] 1.namenode：存储文件的元数据(文件名、文件目录结构、文件属性等等)
2.datanode:在本地文件系统存储文件块数据，以及块数据的校验
3.secondarynode:用来监控HDFS状态的辅助后台程序，每隔一段时间获取元数据的快照
4.journalnode:用于手动切换namenode
5.zookeep：管理所有

对上图的解释：四的datanode向两个namenode汇报数据。当其中一个active namenode‘挂了’后，两台namenode向journalnode汇报信息。然后zkfc（图中蓝色部分）接受信息，汇报给zookeeper。zookeeper采用相应的算法来吧原来standby的namenode变成active的。再将原来active的变为standby。

在这里插入图片描述之后会根据这张图来配置HA请记住它。