《大数据： Hadoop（HDFS） NN，DN 工作原理_无2NN模式》

最新推荐文章于 2024-08-29 16:07:21 发布
原创 最新推荐文章于 2024-08-29 16:07:21 发布 · 493 阅读 · 0
本文详细介绍了HDFS的运作机制，特别是NameNode（NN）和DataNode（DN）的工作原理。NN保存所有文件元数据，包括fsimage和edits文件，而DN存储数据块。在没有Secondary NameNode（2NN）的情况下，NN通过fsimage和edits的合并来更新元数据。块大小、副本数和NN的配置对HDFS性能有直接影响。此外，DN在启动时会向NN注册并报告其存储的块信息。

一、HDFS回顾

1. HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统

2. HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不适合存储小文件(存储小文件时会降低NN的服务能力)

3. HDFS的块大小
        块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置！
        如果不配置，那么在hadoop1.x时，dfs.blocksize=64M，在hadoop2.xdfs.blocksize=128M
 

<property>
  <name>dfs.blocksize</name>
  <value>134217728</value>
  <description>
      The de
了解本专栏 订阅专栏 解锁全文
backtrader实战：提高backtrader调试代码和回测的速度方案二
汇渊科技
07-23 2085
在方案一基础上，进行了替换。
backtrader实战：如何提高backtrader调试代码的速度
汇渊科技
07-20 2014
一种提高backtrader代码调试速度的解决方案，满篇都是技巧~~
Hadoop基础【HDFS NN和2NN工作机制、DataNode工作机制】
weixin_43923463的博客
03-03 1270
1、NN和2NN工作机制 一个正常HDFS集群，读取和写入，尤其是读取是十分频繁的，读取则必然需要访问NN，读取元数据（存储数据的数据，比如索引信息），也就是说，在运行的集群中，元数据的读取是十分频繁的，而且时效性比较高，于是，元数据在运行中需要放在内存中（速度比较快）。 将所有元数据放在内存中，又会造成一旦机器断电，所有的元数据就消失不见了。 所以又需要将易丢失的数据放在磁盘上（持久化过程），一个64GB的NN，即使内存全部用来存储，也只能存放4581...
BackTrader 中文文档（三）
龙哥盟
04-15 1862
原文：www.backtrader.com/
Hadoop -- NN和2NN的工作机制
兜兜的博客
07-27 1250
硬盘和内存就像阴阳两极的对立，硬盘可靠但慢，内存快但不可靠。那如何利用他俩的共同优势，让结果像太极那样游刃得当呢？
《大数据： Hadoop（HDFS） NN，DN 工作原理_有2NN模式》
yexiangCSDN的专栏
09-28 447
四、总结 1. NN主要负责元数据的存储 2. 两种存储的文件格式 edits: 在NN启动后，保存新写入的命令 fsimage: 在合并了edits和fsimage文件后，将新的元数据持久化到新的fsimage文件中 合并的时机： 需要满足checkpoint的条件 ①默认1h ②两次checkp...
Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并
希望每天都能进步一点点
01-18 1524
Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容
Hadoop之HDFS---浅谈DN、NN、SNN
热门推荐
linhao
10-08 1万+
Hadoop浅谈         在了解HDFS之前必须介绍一下hadoop以及hadoop和HDFS之前的关系：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。那么它们之间的关系可以通过下面几点了解： 1、Hadoop是google的集群系统的开源实现：   Google集群系统
《大数据： Hadoop（HDFS） NN，DN 工作原理_安全模式》
yexiangCSDN的专栏
09-27 491
dd
【学习笔记】尚硅谷Hadoop大数据教程笔记
zuzhiang的博客
04-28 5547
本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点： Volume（大量） Velocity（高速） Variety（多样） Value（低价值密度） 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS（Hadoop
大数据入门之Hadoop（二：HDFS基础知识）
Charles_ZengYC的博客
03-24 1053
文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作（文件上传）5.2 HDFS的读操作（文件下...
Hadoop | HDFS学习笔记（一）HDFS优缺点、NN+DN+2NN组成架构、block文件块 | Shell操作 | HDFS常用命令汇总
希望每天都能进步一点点
01-17 2374
参考资料 视频资料 一、HDFS 背景以及定义 背景： 数据量越来越大，操作系统存不了所有数据，需要能管理多台机器上的文件的系统，即分布式文件管理系统，HDFS就是其中的一种。 定义： HDFS，全称 Hadoop Distributed File System，是一个文件系统，通过 目录树 来定位文件，具有分布性，是由多个服务器联合起来实现的存储功能。 适用场景：一次写入，多次读出。 即一个文件经过创建、写入和关闭后就不需要改变的情况。 二、HDFS 优缺点 2.1 优点 高容错性： 数据自动保
大数据笔试题：超级重要知识点
闫振兴的博客
07-30 1万+
简答题：（每题5分，总分100分） Hadoop分布式集群与伪分布式集群的区别 分布式集群需要多台电脑,，一台为奴隶主机，其他的为奴隶机用来存储数据。 伪分布式集群可以使用一台电脑搭建，也可以使用多台电脑，只需要在slaves中添加自己的主机名就可以了，其他的与分布式一样。 Hadoop分为三个核心部分，每个部分是什么，有什么功能？ 三个核心：hdfs，mapreduce和yarn Had...
大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
匠人精神，持之以恒！
12-14 5640
文章目录一、概述HDFS的设计特点二、HDFS组成1）Client2）NameNode（NN）3）DataNode（DN）4）Secondary NameNode（2NN）三、HDFS具体工作原理1）两个核心的数据结构: Fslmage和EditLog2）工作流程3）HDFS读文件流程4）HDFS文件写入流程四、安装Hadoop（HDFS+Yarn）1）环境准备2）下载最新的Hadoop安装包3）进行服务器及Hadoop的初始化配置五、helm3安装HDFS1）前期准备2）创建命名空间&拉包3）创建
Hadoop—HDFS
最新发布
m0_62193445的博客
08-29 1357
客户端 -> NameNode 一般最少俩台存储元数据（存储的文件名格式等） 不包扩数据存储的DataNode节点 多台NameNode根据Zookeeper进行选主当主节点宕机会自动切换，如果是因为网络延时Zookeeper没能监听到，会先杀死该线程再切换主节点。6.ANN会使用fsimage加edits inprogress文件还有大于fsimage的edits文件即可完全恢复元数据。3.主备NN的edits都是不完整，但是QJM是完整的。1.edits文件用于存储元数据，默认2分钟生成一个。
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
upward
03-23 4114
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
大数据学习教程SD版第三篇【Hadoop HDFS】
爱程序，爱生活
12-05 915
大数据 Hadoop HDFS 分布式文件系统
Hadoop学习（ HDFS实现分布式存储：
Java.慈祥
12-26 7787
Hadoop基础学习（ HDFS实现分布式存储：
​Hadoop大数据平台（上） Hadoop工作原理、部署、Yarn​
ly660402的博客
03-30 1189
​​​​
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值