HBase数据的读写流程总结

最新推荐文章于 2025-01-04 07:30:00 发布

原创

最新推荐文章于 2025-01-04 07:30:00 发布 · 9.7k 阅读

标签

#hbase #数据读写流程 #HMaster #Hregion

本文总结了HBase的数据读写流程，首先明确了Zookeeper在集群中的角色，包括保证唯一HMaster、监控HRegion Server状态及存储元数据等。接着介绍了HMaster的职责，如负载均衡和Region管理。然后提到了Region Server的功能，如处理Region响应和切分过大Region。最后，文章会详细探讨HBase的数据写入和读取过程。

三大件概念明确：

Zookeeper
保证任何时候，集群中只有一个HMaster；
实时监控HRegion Server的上线和下线信息，并实时通知给HMaster；
存储HBase的schema和table元数据；
HMaster需要知道哪些HRegionServer是活的,可用的。及HRegionServer的位置信息，以便管理HRegionServer。这些信息都有Zookeeper提供！

HMaster
理论上HMaster可以启动多个，但是Zookeeper有Master Election机制保证且允许总有且只有一个Master在运行，来负责Table和Region的管理工作。
管理HRegionServer的负载均衡，调整Region分布；
Region Split后，负责新Region的分布；
在HRegionServer停机后，负责失效HRegionServer上Region迁移工作。

Region Server
监控维护Region，处理对这些Region的响应，请求；
负责切分在运行过程中变得过大的Region。

注意：

  1,Client访问hbase上数据时并不需要Hmaster参与，数据的读写也只是访问RegioneServer，
    HMaster仅仅维护这table和Region的元数据信息，负载很低。
  2,HBase是通过DFS client把数据写到HDFS上的
  3,每一个HRegionServer有多个HRegion，每一个HRegion有多个Store，每一个Store对应一个列簇。
  4,HFile是HBase中真正实际数据的存储格式，HFile是二进制格式文件，StoreFile就是对HFile进行了封装（其实就是一个东西），
    然后进行数据的存储。
  5,HStore由MemStore（只有一个）和StoreFile（多