本文详细介绍了Hadoop生态中的HDFS结构，包括Name Node、Second Name Node和Data Node的角色，数据块的管理以及数据冗余存储。接着讲解了HBase的定义、数据模型、功能组件以及运行机制。还涵盖了HDFS和HBase的相关操作命令，如文件的读写、目录管理以及HBase的表操作。
大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase
Hadoop生态系统
HDFS
HDFS结构
Name Node（主节点、名称节点）
文件的创建删除等操作，同时管理数据节点和文件映射的关系
Second Name Node（第二名称节点）
冷备份、减缓主节点存储压力
Data Node（从节点、数据节点）
存储数据
块
块大小：64MB或128MB
Name Node与Second Name Node与Data Node
Name Node内包含两个文件：FsImage、Editlog
FsImage可以看作一个文件的快照，内容包括了块大小以及组成文件、访问权限等
Editlog可以看作为一个编辑日志，内容包括了对文件进行的一系列操作
Name Node启动时会将FsImage读入内存中，然后执行Editlog内容更新FsImage并删除旧Editlog
Data Node 是分布式文件系统HDFS的工作节点，负责数据的存储以及读取，每个数据文件均保存在Data Node的Linux文件系统中。
Second Node
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
