Hadoop 3.1.3 本地、伪分布、完全分布环境搭建 学习笔记

最新推荐文章于 2025-02-13 10:33:43 发布
原创 最新推荐文章于 2025-02-13 10:33:43 发布 · 1.9k 阅读 · 11

文章目录

Hadoop

大数据特点（4V）

1、Volume（大量）

2、Velocity（告诉）

3、Variety（多样）

4、Value（低价值密度）

hadoop的优势

高可靠性：多个数据副本，不会导致数据丢失

高扩展性：横向扩展

高效性：Hadoop并行工作，加快处理速度

高容错性：能够自动将失败的任务重新分配

一、Hadoop组成（重点）

1.x HDFS（数据存储）+ MapReduce（计算 + 资源调度） + Common(辅助工具)

2.x HDFS（数据存储）+ MapReduce（计算）+ Yarn(资源调度）+ Common(辅助工具)

解偶

Modules

The project includes these modules:

  • Hadoop Common: The common utilities that support the other Hadoop modules.
  • Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
  • Hadoop YARN: A framework for job scheduling and cluster resource management.
  • Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.
  • Hadoop Ozone: An object store for Hadoop.
HDFS架构

HDFS（Hadoop Distributed File System）

1.NameNode(nn): 存储文件的 元数据，如文件名、文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

2.DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和。

​ ——真实数据

3.Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

​ ——辅助NameNode工作，不能替换

YARN架构

1.ResourceManager(RM) ——管理集群中所有资源（每个DataNode上的资源）

（1）处理客户端请求

（2）启动或监控ApplicationMaster

（3）监控Nodemanager

（4）资源的分配和调度

2.NodeManager(NM) ——管理单个节点的资源（单个DataNode资源）

（1）管理单个节点上的资源

（2）处理来自ResourceManager的命令

（3）处理来自ApplicationMaster的命令

3.ApplicationMaster(AM) ——每个MapReduce(MR)任务会启动一个MrAppMaster, 负责为MapReduce向ResourceManager申请资源（MrAppMaster是AM的子类）

（1）负责数据的切分

（2）为应用程序申请资源并分配给内部的任务

（3）任务的监控与容错

4.Container：——对资源的封装，防止资源被侵占

Containe是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等

举例:  
运行一个MapReduce任务,MapReduce需要启动2个MapTask 和 1个 ReduceTask，也就是总共3个Task

首先会启动一个MrAppMaster ，需要用到资源，假如2G内存，此时RM会在有资源的NM上分配资源，运行MrAppMaster[此时就有1个container]
接下来 MrAppMaster 会根据MapReduce的情况， 比如需要总共启动3个Task , MrAppMaster会向RM申请资源，假如
一个Task需要1G的内存， RM会在有资源的NM上分配, 来运行Task. 每个Task单独运行，占用1G内存。此时又有3个Container

需要解释的是 MrAppMaster和所有的Task可以运行在不同的服务器.

最后当所有的Task都运行完成后，MrAppMaster会想RM注销自己，RM回收资源。
MapReduce架构

MapReduce将计算过程分为两个阶段：Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总

大数据生态体系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FhGJIfeB-1587564742487)(/Users/vanas/Library/Application Support/typora-user-images/截屏2020-04-08下午6.44.05.png)]

二、Hadoop运行环境搭建（开发重点）

虚拟机环境准备

根据前两篇 设置 然后继续

1）虚拟机配置要求如下：

单台虚拟机：内存4G，硬盘50G，安装必要环境(最小化安装)

补充安装各种指令、

sudo yum install -y epel-release

sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop

修改克隆虚拟机的静态IP(按照自己机器的网络设置进行修改)

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

2）修改主机名:

修改主机名称

sudo vim /etc/hostname

配置主机名称映射，打开/etc/hosts

sudo vim /etc/hosts

3）关闭防火墙

sudo systemctl stop firewalld

sudo systemctl disable firewalld

4）创建用户

sudo useradd vanas

sudo passwd 123456

5)配置用户具有root权限

sudo vi /etc/sudoers

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere

root   ALL=(ALL)   ALL

Vanas	 ALL=(ALL)   NOPASSWD:ALL

主机联动host映射文件之前已经写好就不用再改了

切换用户

su vanas

6）在/opt目录下创建文件夹

注意目前用户已经不是root

在/opt目录下创建module、software文件夹

sudo mkdir module

sudo mkdir software

修改module、software文件夹的所有者

sudo mkdir /opt/module /opt/software

sudo chown vanas:vanas /opt/module /opt/software

记得重启

reboot

安装JDK

  1. 将JDK安装包上传到Linux /opt/software目录下

  2. 解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3)配置JDK环境变量

新建/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME

保存后退出

:wq
  1. 测试JDK是否安装成功
source /etc/profile	
java -version

安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

  1. 将hadoop安装包上传到/opt/software目录下

  2. 解压安装文件到/opt/module下面

 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
  1. 查看是否解压成功
 ls /opt/module/
 hadoop-3.1.3
  1. 将Hadoop添加到环境变量

获取Hadoop安装路径

pwd

/opt/module/hadoop-3.1.3

打开/etc/profile.d/my_env.sh文件（shift+g）

#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME

保存后退出

:wq

让修改后的文件生效

source /etc/profile
  1. 测试是否安装成功
hadoop version
Hadoop 3.1.3
  1. 重启(如果Hadoop命令不能用再重启)
sync
sudo reboot

伪分布式

启动HDFS

（1）配置集群

[vanas@hadoop132 ~]$ cd /opt/
[vanas@hadoop132 opt]$ cd module/hadoop-3.1.3/etc/hadoop/
[vanas@hadoop132 hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212

[vanas@hadoop132 hadoop]$ vim core-site.xml 
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop132:9820</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>


[vanas@hadoop132 hadoop]$ vim hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

格式化后多处data 和logs

[vanas@hadoop132 hadoop]$ cd ..
[vanas@hadoop132 etc]$ cd ..
[vanas@hadoop132 hadoop-3.1.3]$ ll
总用量 204
drwxr-xr-x. 2 vanas vanas   4096 9月  12 2019 bin
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 etc
drwxr-xr-x. 2 vanas vanas   4096 9月  12 2019 include
drwxrwxr-x. 2 vanas vanas   4096 4月   8 16:43 input
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 lib
drwxr-xr-x. 4 vanas vanas   4096 9月  12 2019 libexec
-rw-rw-r--. 1 vanas vanas 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 vanas vanas  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 vanas vanas   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 sbin
drwxr-xr-x. 4 vanas vanas   4096 9月  12 2019 share
[vanas@hadoop132 hadoop-3.1.3]$ hdfs namenode -format

[vanas@hadoop132 hadoop-3.1.3]$ ll
总用量 212
drwxr-xr-x. 2 vanas vanas   4096 9月  12 2019 bin
drwxrwxr-x. 3 vanas vanas   4096 4月  10 09:49 data
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 etc
drwxr-xr-x. 2 vanas vanas   4096 9月  12 2019 include
drwxrwxr-x. 2 vanas vanas   4096 4月   8 16:43 input
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 lib
drwxr-xr-x. 4 vanas vanas   4096 9月  12 2019 libexec
-rw-rw-r--. 1 vanas vanas 147145 9月   4 2019 LICENSE.txt
drwxrwxr-x. 2 vanas vanas   4096 4月  10 09:49 logs
-rw-rw-r--. 1 vanas vanas  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 vanas vanas   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 vanas vanas   4096 9月  12 2019 sbin
drwxr-xr-x. 4 vanas vanas   4096 9月  12 2019 share

（2）启动、测试集群增、删、查

注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

[vanas@hadoop132 hadoop-3.1.3]$ hdfs --daemon start namenode
[vanas@hadoop132 hadoop-3.1.3]$ hdfs --daemon start datanode
[vanas@hadoop132 hadoop-3.1.3]$ jps
14027 Jps
13149 NameNode
13694 DataNode
[vanas@hadoop132 hadoop-3.1.3]$ hdfs dfs -mkdir /input
[vanas@hadoop132 hadoop-3.1.3]$ hdfs dfs -put input/my.txt /input
[vanas@hadoop132 hadoop-3.1.3]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - vanas supergroup          0 2020-04-10 11:57 /input      1
[vanas@hadoop132 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

web端查看HDFS文件系统

http://hadoop132:9870

启动YARN并运行MapReduce程序

（1）配置集群在YARN上运行MR

[vanas@hadoop132 logs]$ cd ..
[vanas@hadoop132 hadoop-3.1.3]$ cd etc/hadoop/
[
标签
#hadoop
最低0.47元/天 解锁文章
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
Hadoop3.1.3 伪分布式安装
weixin_63682399的博客
06-18 2569
Hadoop伪分布式安装 伪分布式安装 hadoop # 前言： **Hadoop集群有三种运行模式，单机模式，伪分布模式、完全分布式模式。** 单机模式：只有一个JVM进程数，只运行在一台机器上； 伪分布模式：有多个JVM进程数，运行在同一台机器上； 完全分布式模式：多个JVM进程数，运行在三台或三台以上的机器上。
3. Hadoop-3.1.3伪分布式安装部署
QYmufeng的博客
07-21 1253
Hadoop伪分布式安装部署并运行自带例子
Hadoop3.1.3安装（单机、伪分布）
WZRbeliever的博客
06-02 1498
首先按键盘的 ctrl + c 中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。Hadoop 运行程序时，输出目录不能存在，否则会提示错误。
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
大胆刁民的博客
03-16 1万+
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
基于CentOS搭建hadoop-3.1.3的伪分布式集群
qq_55524511的博客
09-01 2576
本文是一个彻彻底底的小白在参考了许多大佬的文章后，成功搭建了基于centos7的hadoop-3.1.3版本的伪分布式集群的具体过程，里面有配置所需代码和运行结果截图，还有对一些配置代码的详细说明。
Hadoop伪分布完全分布搭建全过程——超详细
xiaoqiang616717的博客
03-17 7304
安装前的准备工作** 1.安装虚拟机，Linux操作系统 （vmware安装参考：https://blog.csdn.net /qq_28090573/article/details/82724910） （vitrualBox安装参考：https://www.jianshu.com/p/fba87fa4f028）** 2.防火墙设置： 查看防火墙状态： $ sudo ufw status 若...
hadoop伪分布式环境搭建，完整的详细步骤
m0_67401153的博客
04-18 1万+
hadoop伪分布式环境搭建，完整的详细步骤 一、搭建伪分布式本次实验环境： 1、VMware14 2、一台ubtuntu 18 64位 3、主机名位master 4、ip 地址：192.168.136.31 5、本次实验需要的安装包 二、 伪分布式搭建前的准备 1、 查看id 地址 ip addr 2、 关闭防火墙 命令来关闭防火墙 ufw disable 命令查看当前防火墙状态 ufw status 3、 修改主机名、 添加主机映射 hostnamectl set-hostname
educoder--HBase 伪分布式环境搭建 第1关：伪分布式环境搭建答案
刘向阳的博客
06-10 2万+
第1关：伪分布式环境搭建 任务描述 相关知识 配置与启动伪分布式HBase 在HDFS中验证 编程要求 测试说明 任务描述 本关任务：安装伪分布式HBase。 相关知识 上次实训中我们已经完成了单机版HBase的安装，单机版意味着我们的HBase数据仍然是存放在本地，而没有存放在Hadoop集群中，本关我们来学习如何配置一个伪分布式的HBase环境，伪分布式意味着HBase仍然在单个主机上运行，但每个HBase的守护程序（HMaster、HRegionServer和Zookeeper）作为单独的进程运行；在
hadoop2.6.0版本搭建伪分布式环境
热门推荐
stark_summer的专栏
02-06 5万+
由于个人需要在自己的笔记本上搭建hadoop伪分布环境，为了方便自己使用，如想看机器也看之前的一篇博客：hadoop2.6版本集群环境搭建
Hadoop伪分布式安装搭建教程
weixin_50767513的博客
12-05 4565
2.1 在VMware上方菜单栏，文件--新建虚拟机 2.2 默认 2.3 选择稍后安装操作系统2.4 选择Linux（L），版本 Ubuntu 2.5 定义虚拟机的名称，选择虚拟机的位置，本人选择放在了D盘 2.6 处理器配置根据自己情况自己选择，这里选择了处理器数量2，内核数量2 2.7 虚拟机内存设为2048 MB 2.8 默认 2.9 默认 2.10 默认 2.11 选择创建新虚拟磁盘 2.12 磁盘容量设为40G 然后一直下一步 创建完成2.13 编辑虚拟机设置
使用虚拟机搭建Hadoop（伪分布式搭建、分布式搭建）
weixin_48435461的博客
01-01 9250
学了一个学期的Hadoop，终于把这块大骨头啃掉了，泪目！！！ 这篇文章更像是一个学习Hadoop的总结 Hadoop伪分布式、分布式搭建一、准备工作1、hadoop压缩包2、jdk压缩包3、Xshell4、Xftp5、VM虚拟机二、Hadoop伪分布式1、安装Java2、配置环境变量3、安装Hadoop4、格式化NameNode5、配置Hadoop、start-dfs.sh和start-yarn.sh环境变量6、启动Hadoop7、通过Web端口访问HDFS三、Hadoop分布式0、安装Java1、修改
Hadoop2.7.3环境搭建之伪分布式
聚焦大数据、AI、数据库三大核心领域，分享 Flink/Spark 实时计算、数仓架构设计、AI 模型落地、数据库性能调优的实战干货，附可直接运行的源码与方案。提供企业技术内训、项目咨询与定制化服务，助力开发者与企业高效搞定数智技术难题。
03-08 9498
Hadoop伪分布式环境搭建一、前置条件二、准备工作三、Hadoop安装四、伪分布式配置 说明： 熟悉Hadoop伪分布式环境搭建基本思路与流程，理解主从式结构体系思想 一、前置条件 前置条件请自行参考如下资料进行操作，确保虚拟机及操作系统正常安装 安装VMware 参考： https://blog.csdn.net/sujiangming/article/details/87991536 创建虚拟机和安装操作系统CentOS7 参考： https://blog.csdn.net/sujiangmi
hadoop伪分布式环境搭建
xyllp的博客
02-10 5916
hadoop伪分布式环境搭建一、修改主机名，IP映射修改主机名修改IP映射二、安装jdk三、安装hadoop四、配置hadoop修改slaves修改hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml关闭防火墙格式化启动hadoop 一、修改主机名，IP映射 为了在集群管理中，能够方便的对各个节点进行...
Hadoop——伪分布搭建
2551的博客
04-02 4390
这里记录一次Hadoop伪分布搭建步骤，系统软件版本如下： 操作系统：Centos7 JDK：1.8 Hadoop：2.7 1、使用1台linux虚拟机，设置IP地址和主机名，使得虚拟机和主机互通 （1）编辑/etc/sysconfig/network-scripts/ifcfg-ens32文件，修改IP地址 这里的DNS可以设置8.8.8.8，我这里是内网，只能设置这个才行。 （2）编辑/e...
大数据Hadoop集群搭建 1（伪分布式集群）
currify的博客
11-16 3572
（2）另一种是Hadoop集群自定义配置时编辑的配置文件，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件，可以根据需要在这些文件中对默认配置文件中的参数进行修改，Hadoop会优先选择这些配置文件中的参数。在完全分布式模式下，默认的块副本是3份。（1）bin：存放操作Hadoop相关服务（HDFS、YARN）的脚本，但是通常使用sbin目录下的脚本。
hadoop平台伪分布环境的搭建
最新发布
lr2364385618的博客
02-13 2390
hadoop平台伪分布环境的搭建 一:准备工作: 1.确保当前操作系统中已经安装jdk 2..准备hadoop的安装包 3.开始安装： 1.修改当前主机的主机名： 2.安装hadoop 3.配置hadoop 4. 进入hadoop配置文件的路径： 4.启动hadoop平台 1.将主服务器进行格式化 2.启动hadoop平台 3.查看所有进程是否启动成功 5.报错解决
Hadoop伪分布式集群搭建学习总结
weixin_43001972的博客
07-21 2309
hadoop伪分布式集群搭建过程学习总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值