hadoop 的 Metrics机制

Hadoop的Metrics机制旨在简化大规模集群的管理,通过MetricsContext、MetricsRecord和各类特定Metrics(如JvmMetrics、DataNodeMetrics)收集服务器上的JVM、RPC、DataNode数据等信息。外部程序可以利用这些信息监控集群状态。

 

Metrics机制

 为了方便管理员管理成千上万的集群服务器上的各种信息,如JVM信息,RPC调用信息,datanode上数据信息,hadoop通过自定义一套信息采集记录机制的把服务器上的各种信息进行收集。

总框架:

1.        MetricsContext:表示某一个Metrics的上下文环境,是一个线程,定时调用注册到本上下文的具体XXMetricsdoUPdate方法,采集的各种metric信息收集到MetricsContext中来,

2.        MetricsRecord:用于记录metrics信息,

3.        XXMetrics:实际负责采集各种metrics信息的类,提供采集方法doUpdateMetricsContext,它会定时调用doUpdate进行采集,采集数据保存在MetricsRecord中,然后再将Metrics中的数据转存在MetricsContext

4.        外部程序通过MetricsContext中的具体数据,即可监控程序的各种metrics情况。

 

JvmMetrics

提供JVM的各种信息,包括内存、堆、线程、log4j信息。

MetricsRecord

通过此对象提供的接口来记录jvm的各种信息,有三种形式:主键和字符串对、主键和数值对(非增量)、主键和数值对(增量),实际实现由MetricsRecord负责。

DataNodeMetrics

    记录各种block操作的次数的时间

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值