《大数据： Hadoop（HDFS） DN 新增和退役节点的黑白名单》

最新推荐文章于 2024-07-12 16:01:56 发布
原创 最新推荐文章于 2024-07-12 16:01:56 发布 · 396 阅读 · 0
本文详细介绍了如何在Hadoop集群中添加新的DataNode节点，使用白名单删除节点，通过黑名单退役节点，以及进行集群间的数据拷贝和Hadoop存档操作。在添加和删除节点时，涉及到了对hosts文件、hdfs-site.xml的配置以及Namenode和ResourceManager的刷新。

一、新添DN节点

1. 准备一台新的虚拟机，我这边是hadoop4，修改hostname，ip 等等按照之前配置不多说

2. 拷贝hadoop 过来，删除data 目录

yexiang@hadoop4:<soft>$ scp -r yexiang@hadoop3:/opt/soft/hadoop-2.7.2 ./
...

yexiang@hadoop4:<hadoop-2.7.2>$ rm data/ -rf

3. 各个节点修改 /etc/hosts, 添加 192.168.100.133  hadoop4 （自行修改自己的ip和主机名），如果节点过多，那至少有副本数-1的节点要修改 以及新节点修改

192.168.100.130 hadoop1
192.168.100.131 hadoop2
192.168.100.132 hadoop3
192.168.100.133 hadoop4

4. hadoop4 中启动 DN，刷

了解本专栏 订阅专栏 解锁全文
《大数据上篇： 学习导图》
yexiangCSDN的专栏
08-27 1219
《大数据： 学习导图》 大数据学习前提JAVA基础 ：《JAVA： 学习导图》 更新中。。。 《大数据： 介绍》 《大数据： Maven 一》 《大数据： Maven 二》 《大数据： Hadoop（HDFS） 一》 《大数据： Hadoop（MapReduce） 一》 ...
数据库基本概念
qq_41799012的博客
07-05 1562
a、创建（create）：create index，create tablespace……b、删除（drop，truncate）：truncate删除整个数据，drop删除整个表（数据+表结构）两者都不用commit，也不能回滚c、修改（alter）：alter table，alter database，alter tablespace……d、查看（show，desc），show parameter（查看参数的值），desc 对象-查看对象的结构。
hadoop-HDFS简介-部分原理介绍
X043800的博客
08-22 285
1 HDFS架构 HDFS采用主从架构 主节点 : NameNode 文中简称NN 从节点 : DataNode 文中简称DN 1.1 NameNode 存储元数据 , 记录用户操作的日志 接收NN节点的注册 , 向DN分配集群ID(clusterID) , 指定存储数据的目录 接收客户端的请求 , 向客户端返回元数据或响应 维护集群的负载均衡 , 维护数据副本个数 监控DN的心跳信号 , 接收DN的汇报 , 更新元数据 , 向DN分配复制副本的任务 提供统一的虚拟目录供用户访问 1.2 DataNod
Hadoop：服务器间数据均衡，添加白名单，黑名单退役服务器
程序员无羡的博客
07-16 323
Hadoop：服务器间数据均衡，添加白名单，黑名单退役服务器
Hadoop3教程（二十九）：（生产调优篇）集群扩容及缩容（白名单与黑名单）
经年藏殊的博客
10-21 799
首先简单介绍了白名单和黑名单的定义及设置方法，其次描述了集群是如何实现动态服役新节点和动态退役旧节点的，并介绍了服务器节点之间做数据均衡的方法
Hadoop3：HDFS-通过配置黑白名单对集群进行扩缩容，并实现数据均衡（实用）
最新发布
Brave_heart4pzj的博客
07-12 1648
Hadoop
【Hadoop-HDFS】详细解析DN工作机制，添加黑白名单，DN多目录配置
一个写湿的程序猿
07-22 1470
第六章 DataNode 文章目录第六章 DataNode6.1 DataNode工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单和黑名单6.5.2 黑名单退役6.6 DataNode多目录配置 6.1 DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括(数据块的长度，块数据的校验和，以及时间戳)。 （2）DataNode启动后向NameNode注册，通过后
大数据 HDFS-集群扩容及缩容
m0_45323484的博客
10-23 1681
目录 1.添加白名单 配置白名单步骤： 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数 3）分发配置文件whitelist，hdfs-site.xml 4）第一次添加白名单必须重启集群，不是第一次，只需要刷新NameNode节点即可 5）在web浏览器上查看DN，http://hadoop102:9870/dfs
HDFS新增节点与删除节点
Daivei_lai的博客
11-07 289
目标：掌握HDFS新添加节点到集群的步骤 需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 新增节点步骤 **第一步：**复制一台新的虚拟机出来（将我们纯净的虚拟机复制一台出来，作为我们新的节点） 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-per...
GBase 8c 管理平台（七）集群DN节点状态
art_love的博客
01-19 878
GBase 8c是南大通用研发的一款分布式交易型数据库管理系统，具备高性能、高可用、弹性伸缩、高安全性等特性，可以部署在物理机、虚拟机、容器、私有云和公有云。
Hadoop 之 HDFS (DateNode)
weixin_48067943的博客
07-25 1006
文章目录六、DateNode（重点）6.1 DataNode工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单和黑名单6.5.2 黑名单退役6.6 DataNode 多目录配置 六、DateNode（重点） 6.1 DataNode工作机制 （1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode 启动后向 NameNod
HDFS集群黑白名单机制
weixin_49750432的博客
08-01 422
HDFS集群黑白名单机制白名单黑名单 白名单 所谓白名单指的是允许哪些机器加入到当前的HDFS集群中，是一种准入机制 白名单由dfs.hosts参数指定，该参数位于hdfs-site.xml.默认值为空 dfs.hosts只想文件，该文件包含允许链接到namanode的主机列表。必须允许指定文件的完整路径名。如果该值为空，则允许所有主机接入 黑名单 所谓黑名单指的是禁止哪些主机加入到当前的HDFS集群中，是一种禁入机制 黑名单由dfs.hosts.exclude参数指定，该参数位于hdfs-site.
hadoop集群的白名单和黑名单示例说明
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-08 1040
白名单示例说明: 说明 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 web浏览器查看添加白名单前： 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [xzc@hadoop102 hadoop]$ pwd /opt/module/hadoop-2.7.2/etc/hadoop [xzc@hadoop102 hadoop]$ touch dfs.hosts
HDFS添加白名单和黑名单（含具体实现）
m0_56066550的博客
12-12 3900
白名单和黑名单是hadoop管理集群机器的一种机制。 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 添加到黑名单的主机节点，不允许访问NameNode，会将黑名单的主机节点上的数据迁移到白名单主机节点上，然后退出该黑名单节点。 实际情况下，白名单用于确定允许访问NameNode的DataNode节点。黑名单用于在集群运行过程中退役DataNode节点。 一、配置白名单和黑名单的具体步骤如下： 1、在NameNode节点的/opt/module/hadoop
HDFS-添加白名单与黑名单
qq_27242695的博客
10-21 716
文章目录HDFS-添加白名单与黑名单1 添加白名单1.1 创建whitelist1.2 hdfs-site.xml添加1.3 分发hdfs-site.xml,whitelist 重启1.4 刷新NameNode1.5 在web查看DN信息2 添加黑名单2.1 创建blacklist2.2 hdfs-site.xml添加2.3 分发hdfs-site.xml,blacklist重启2.4 在web查看DN信息 HDFS-添加白名单与黑名单 hadoop版本：3.1.3 1 添加白名单 白名单：表示在白名单的主
HDFS 动态扩容、动态缩容以及黑白名单
wxk的博客
11-03 1095
HDFS 的动态扩容节点上线、动态缩容节点下线以及HDFS的黑白名单机制
hadoop datanode节点硬盘故障下线及上线方法
liyanling的博客
06-19 2952
以/dev/sdg1磁盘故障为例： /dev/sdg1             1.9T  1.4T  440G  77% /disk6 1.下线坏盘，直接umount，但一个集群同一时间段只能下线一台机器，否则有丢数据的风险。 sudo umount /disk6 2. 提交硬盘维修,维修好后重新上线 3. 判断是否该盘是否格式化 sudo fdisk -
Hadoop是什么
记录点滴
05-18 1604
http://www.cnblogs.com/Yuppy-Lotr/p/5983839.html 2.Hadoop核心思想 　　Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台，其核心部件是HDFS与MapReduce 　　HDFS是一个分布式文件系统：传统文件系统的硬盘寻址慢，通过引入存放文件信息的服务器Namenode和实际存放数据的服
大数据学习之-NN，SNN和DN的作用
weixin_34326558的博客
10-18 1291
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop的基础思想
交换一个思想，能得到俩思想
02-17 1990
转载 http://www.superwu.cn/2014/01/10/963 1.1.1. hadoop的核心思想 Hadoop包括两大核心，分布式存储系统和分布式计算系统。 1.1.1.1. 分布式存储 为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值