YARN源码学习（七）-----Task级别GC相关指标的自定义counter

前言

上篇文章介绍了从HDFS中获取JobHistory中的Job信息的具体方法。当然，在对这些数据实施二次分析时（即进一步分析），能够显著提升分析结果的质量与准确性。然而尽管这些数据已经存在（即被记录下来），但它们属于Hadoop系统内部存储的内容（即内部记录）。因此若想获得更细致的信息（如单个Task从启动到完成过程中的GC情况），包括GC总次数、年轻GC和全GC次数等细节信息，则必须依赖外部监控工具才能实现（因为全GC次数这一具体指标在现有的JobHistory中是无法获取到的）。基于此我们确定了一个优化目标：在现有基础上增加新的自定义计数器来实现对单个Task内存使用情况的精确监控。

原有的Task Counter

在引入新的Counter指标之前，在查看JobHistory上现有任务级别的监控指标有哪些？如图所示

由于我们选择的这个任务属于map类型，在该栏中所有的指标都基于map函数的操作结果进行统计和分析。值得注意的是，在当前展示的结果中与GC相关的指标数量相对较少，仅有一个：GC总耗时。这一时间值是通过对所有GC操作所需时间进行累加计算得出的。我们的目标就