基础 MapReduce 整理为(六) 全局计算器

文章目录

• 1. 全局计数器的定义

  • 2. 常见的全局计数器类型

    • • 2.1 任务相关的计数器
      • • 2.1.1 MapReduce 过程中的任务计数器
      • 2.1.2 文件系统操作相关的计数器
      • 2.1.3 输入文件格式对应的计数器
      • 2.1.4 输出文件格式对应的计数器

    • 2.2 针对作业的计数器

  • 3. 如何应用自定义计数器

1. 什么是全局计数器

计数器的功能在于追踪任务的运行进程与当前状态，其作用类似于日志记录。在程序的特定位置设置计数器，能够捕捉数据或进度的变化信息。

MapReduce 计数器（Counter）为用户提供了观察 MapReduce Job 运行期间各类细节数据的途径，对于性能优化具有重要价值。大多数 MapReduce 性能评估工作均依赖于这些计数器所反映的数据表现。

以 wordcount 为例，在统计输入数据条目数量时：
包含四个小文件，分别由四个 maptask 处理
wc0.txt——maptask0——27
wc1.txt——maptask1——27
wc2.txt——maptask2——27
wc3.txt——maptask3——27
总的输入数据条目数量为四个 maptask 输入条目