Metrics机制
为了方便管理员管理成千上万的集群服务器上的各种信息,如JVM信息,RPC调用信息,datanode上数据信息,hadoop通过自定义一套信息采集记录机制的把服务器上的各种信息进行收集。
总框架:
1. MetricsContext:表示某一个Metrics的上下文环境,是一个线程,定时调用注册到本上下文的具体XXMetrics的doUPdate方法,采集的各种metric信息收集到MetricsContext中来,
2. MetricsRecord:用于记录metrics信息,
3. XXMetrics:实际负责采集各种metrics信息的类,提供采集方法doUpdate给MetricsContext,它会定时调用doUpdate进行采集,采集数据保存在MetricsRecord中,然后再将Metrics中的数据转存在MetricsContext。
4. 外部程序通过MetricsContext中的具体数据,即可监控程序的各种metrics情况。

JvmMetrics
提供JVM的各种信息,包括内存、堆、线程、log4j信息。
MetricsRecord
通过此对象提供的接口来记录jvm的各种信息,有三种形式:主键和字符串对、主键和数值对(非增量)、主键和数值对(增量),实际实现由MetricsRecord负责。
DataNodeMetrics
记录各种block操作的次数的时间
Hadoop的Metrics机制旨在简化大规模集群的管理,通过MetricsContext、MetricsRecord和各类特定Metrics(如JvmMetrics、DataNodeMetrics)收集服务器上的JVM、RPC、DataNode数据等信息。外部程序可以利用这些信息监控集群状态。
174

被折叠的 条评论
为什么被折叠?



