云HBase集群的规划

简介: 在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题。

概述

在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题,希望能说清楚

基本架构

目前云HBase的基本架构为:
image
从架构图中,可以看出Master是主备的,且不存任何业务数据的;core节点至少2台,第一个节点为了节约节点,部署了一个zk,Core节点可以一直添加到100或者500个节点左右。

Master节点选择

Master节点的规格:2cpu4g起步,主要看集群的规格。参考以下的配置

core的规模 master选择
<=4台 2cpu4g
4台 4cpu8g
10 8cpu16g
20 16cpu32g
50 16cpu64g

Core节点选择

core阶段选择:4cpu8g起步,最大32cpu128g
以1KB为准:

QPS core的个数及选择
0 ~ 1w 2台 4cpu8g
1w ~ 10w >=2 8cpu32g 可以按照每台2w算,批量除外
10w ~5000w >=2 16cpu64g 可以按照每台4w算,批量除外

由于每个节点挂4T的存储,如果QPS较少,存储较多。可以选择多台4cpu16g的规格或者8cpu32g

存储介质选择

对于存储,我们目前有三个介质,第一个是SSD介质,第二是高效介质(使用SSD与SATA的混合),第三个介质是OSS,也就是直接基于我们的OSS服务。这个介质的特点就是:最热、一般热、温、冷的数据

冷热程度 介质类型 提供方式 业务类型
高性能 SSD云盘 HDFS方式,挂盘,包量 在线业务,延迟要求低,99.9 80ms以下
高效能 高效云盘 HDFS方式,挂盘,包量 在线业务,延迟要求一般,99.9 200ms以下
冷数据 OSS 接口方式提供,按需计费 准在线业务,主要存储冷数据,特殊的压缩算法、高压缩比例

后续的发展

  • 目前OSS还没有上线,预计2018年6-7月上线,上线后完全弹性计费
  • 针对SSD及高效的存储,目前还是采取磁盘的方式挂载,可以扩容及缩容;后续会提供完全弹性的SSD及高性能存储。 也就是本地没有HDFS。

社群

技术交流钉钉大群【强烈推荐!】 群内每周进行群直播技术分享及问答

目录
相关文章
|
Java API 网络性能优化
NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy
报错日志: java.lang.NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy at ch.
11535 0
|
自然语言处理 应用服务中间件 开发者
钉钉技术群收集
钉钉技术群收集
1490 0
|
存储 Prometheus Kubernetes
解决k8s调度不均衡问题
在近期的工作中,我们发现 k8s 集群中有些节点资源使用率很高,有些节点资源使用率很低,我们尝试重新部署应用和驱逐 Pod,发现并不能有效解决负载不均衡问题。在学习了 Kubernetes 调度原理之后,重新调整了 Request 配置,引入了调度插件,才最终解决问题。这篇就来跟大家分享 Kubernetes 资源和调度相关知识,以及如何解决k8s调度不均衡问题。
2612 0
解决k8s调度不均衡问题
|
3月前
|
人工智能 机器人 Serverless
探展打卡 Serverless,2025 云栖大会来了
2025 云栖大会即将于 9 月 24 日至 26 日在杭州云栖小镇盛大开幕,本次大会分别设置 Serverless 体验区与【Serverless 助力 AI Agent 开发与落地】分论坛,参会者可现场体验热门 Serverless 产品,近距离了解最新技术进展。无论是探索函数计算、Serverless 应用引擎 SAE 的创新实践,还是参与 AI Agent 开发的深度讨论,这里都将为您提供前沿洞察与实操机会。
|
9月前
|
SQL 存储 安全
MySQL:Prepared Statement 预处理语句
MySQL 预处理语句是一种高效、安全的执行 SQL 查询的方法。通过预编译 SQL 语句,可以显著提升查询性能,并有效防止 SQL 注入攻击。掌握预处理语句的使用方法,对于优化数据库操作和提高应用程序的安全性具有重要意义。希望本文能帮助你更好地理解和使用 MySQL 预处理语句。
468 7
|
10月前
|
云安全 安全 Cloud Native
阿里云 SASE 2.0 能力迭代|构建一体化办公数据安全解决方案
阿里云 SASE 2.0 能力迭代|构建一体化办公数据安全解决方案
|
SQL 存储 数据处理
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
Apache Doris 物化视图进行了支持。**早期版本中,Doris 支持同步物化视图;从 2.1 版本开始,正式引入异步物化视图,[并在 3.0 版本中完善了这一功能](https://www.selectdb.com/blog/1058)。**
783 1
Java:如何轻松获取当前执行的方法名
在Java中获取当前执行的方法名,可以通过`Thread.currentThread().getStackTrace()`得到堆栈跟踪元素数组,提取第一个元素的`methodName`。也可使用反射机制,先获取目标类`Class`对象,然后用`getDeclaredMethod()`找到目标方法,最后用`getName()`获取方法名。两种方法都能实现需求,具体选择取决于应用场景。想获取源码可回复**001**。更多内容,敬请关注!
Java:如何轻松获取当前执行的方法名
|
NoSQL Java 关系型数据库
基于java swing和mysql实现的电影票购票管理系统(源码+数据库+运行指导视频)
基于java swing和mysql实现的电影票购票管理系统(源码+数据库+运行指导视频)
556 0
如何将Doris的COLLECT_LIST结果用在另一个查询的条件语句里
【4月更文挑战第21天】如何将Doris的COLLECT_LIST结果用在另一个查询的条件语句里
465 0