大数据集群迁移至新机房的数据转移

【一、背景】

依照主要整体规划布置当前生产区的运营大数据集群至全球机房

本次采用了新的搬迁方案。该方案基于万国机房内的72台物理主机，在新的大数据集群上进行了新建与运营。为了确保数据的安全性，在将老集群的应用数据转移至新的大数据集群时采取了一种系统化的迁移方式，并在完成后对整个过程进行了详细测试以验证其稳定性与可靠性。

本次变更不仅完成了新集群的搭建，并且完成了存量数据的同步工作。本文仅就数据同步方案展开讨论。

【二、迁移思路】

1. 搭建新集群

2. 将老集群中的数据全量拷贝到新集群

在执行全量复制操作时，在老旧集群存储了大量的数据，并且这个过程耗时较多。同时，在这个过程中会有新数据不断加入。因此必须采用增量复制策略来解决这个问题。

4. 增量复制的数据规模相对较小, 所需时间较短. 可以迭代若干次增量复制, 直至最后一次增量复制达到一个可接受的时间范围.

5. 被确定在适当的时间点终止使用旧集群，并在没有新增数据的情况下执行增量备份。（这里如果存在补充机制，则可以通过该手段来完善现有数据）

6. 增量拷贝完成之后，理论上新老集群数据一致，进行数据一致性检查

7. 进行集群切换

8. 业务端可以重写最近几天的数据，以确保数据是正确的

【三、迁移方案】

为管理大数据集群上的组件（包括Hadoop Distributed File Syste