安装Hadoop并运行WordCount程序

Hadoop的目录结构

Hadoop目录结构

1）查看Hadoop目录结构

进入到hadoop-3.1.3下，它的几个重要目录如下

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

（五）Hadoop的组成

在Hadoop3.X中，hadoop一共有四个组成部分：MapReduce计算，Yarn资源调度，HDFS数据存储，Common辅助工具。

1. HDFS架构

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。

（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。

（2）DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和。

（3）Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

HDFS集群：一主加三从，额外再配一个小秘书

2. YARN架构概述

Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。

（1）ResourceManager(RM):整个集群资源（内存，CPU等）的老大

（2）NodeManager(NM): 单个节点服务器资源老大

（3）Application Master(AM): 单个任务运行的老大

（4）Container: 容器，相当于一台独立的服务器，里面封装了任务运行时所需要的资源：如内存、cpu、磁盘、网络等等。

3.MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

（1）Map阶段并行处理输入数据

（2）Reduce阶段对Map结果进行汇总

例如逻辑上分离：不是说非要启动HDFS集群才能启动YARN集群，不是先有哪个再有哪个？每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。

物理上在一起.