CountDistinct 去重机制的工作原理

重点掌握各类技术方案的优势、劣势及其适用边界，并针对其不足之处探索相应的改进策略。

Hive / Spark / Kylin 中 count distinct 的实现机制：

特别关注其中 涉及多维字段的 count distinct 实现手段

大数据SQL COUNT DISTINCT实现原理

从代码层面分析去重功能的实现方式：

亿万级海量数据去重软方法，spark/hive/flink/mr通用 | 航行学园

count distinct -> groupby (适用于 Hive) -> 增加内存资源、采用 bitmap（？） 但成本较高

尝试软性优化方法，最为关键且简便：依据需要去重字段的长度、起始字符、结尾字符或其他具有较高区分度的特征，分阶段进行预聚合处理。

在 Spark 中的优化措施：

**1：两阶段聚合（s