唯品会拥有1000+台Hadoop集群的优化方案

性能挑战

01

以下是对原文的同义改写

    Error in org.apache.Hadoop.Hive.ql.exec.mr.MapRedTask. Unable to close file because the last block does not have enough number of replicas.

重启集群之后问题能够得到改善，并非单纯依靠重启能够彻底解决问题。然而根本原因必须被深入分析，并采取相应措施加以处理。

性能优化

02

RPC性能下降的根本原因在于HDFS NameNode的吞吐量存在瓶颈。每次提交的数据读取请求都会导致资源竞争性锁定。通过查看NameNode的RPC队列等待时间指标可以直观了解当前系统运行状况。我们主要从代码层面和技术实现层面进行优化调整

Datanode延迟块汇报

03

1.Datanode的块汇报

每当 datanode 完成一个块的新增操作后，默认会立即触发汇报机制向 namenode 进行通信。在大规模 Hadoop 集群环境中，由于数据的 writes 持续进行中断断不断的数据变化会导致 namenode 频繁接收 datanode 的快汇报请求 这种情况会使得 namenode 忙碌地处理频繁的汇报请求 从而显著影响其他 remot