提升Hadoop任务处理效率的eBay实践

摘要：

API调用响应时间的百分位值

服务调用关系

数据库操作

每日产生的CAL日志数量达到PB级别，并且呈现出持续增长的趋势。面对日益庞大的数据体量，在Hadoop MapReduce作业（MR作业）层面实施优化将是提升资源利用率的关键所在。本文旨在探讨并分享Ebay团队在提升Hadoop作业效率方面的经验，并以期为企业开发者提供有益的参考和解决方案。

**** 为什么要优化

CAL报告的Hadoop job现状如下：

该数据集每天产生的日志总量达到了PB级别，并且呈每年70%的增长趋势。这些日志涉及多个应用程序，并且其内容各有不同。其中一部分属于数据库操作密集型的应用程序，在这些情况下日志记录主要集中在数据库操作方面；另一部分则包含了复杂的嵌套事务，在这些情况下日志记录中会频繁出现多步事务的操作记录。每个应用程序的日志数据量差异明显

计算资源：CAL采用了共享Hadoop集群架构，在优化之前阶段，在未采用优化措施的情况下（即初始配置状态下），该系统的Hadoop作业需要消耗约50％的整体集群计算能力才能完成任务目标。此外，在每日运行时（即工作日内），系统会呈现特定的工作负载特征：其中约有9个小时的时间段内（即每天的工作时间范围内），作业只能占用19％左右的集群计算资源进行处理。对于无法在这段时间内获取计算资源来运行作业的任务（即处于空闲状态的任务）