数据治理产品的智能化设想（系列一）

上周参与了大数据筑基工程针对现有数据平台的对标分析工作，各厂商需深入剖析自身平台的当前状况、存在的差距以及未来需要优化的方向，从而为筑基工程后续制定相应的行动计划。

通过此次分析发现，公司产品在数据清洗、数据质量及数据分析等方面的覆盖范围较为全面，但在统一安全、统一管理以及数据共享等其他领域则显得相对薄弱。当然，这也与整体方案在这些方面的规划较为超前存在一定的关联。暂且不谈其他方面，产品在数据质量与数据清洗这两个方面的满足程度，应与该公司的历史背景和实际案例密切相关。这两个产品源自td系统，并已具备多年实践经验，因此能够提炼出诸如数据质量检查模板、检查规则等具有一定抽象性的概念，使系统既能实现灵活配置，又具备良好的可扩展性。

然而，在这两个月的熟悉过程中，我也发现了现有产品的诸多不足之处。借由此次分析机会，我对相关问题进行了归纳总结，主要包括以下几点：

• 功能模块分布较为零散，彼此之间缺乏紧密联系。例如元数据、数据标准、数据质量以及数据清洗这几个与数据治理相关的功能模块之间缺少有效的协同作用，每个功能均以子系统的形式独立存在，并未有效整合为一个整体。比如元数据管理虽然可以实现表结构、字段定义以及ETL过程等相关元信息的导入、管理和查询操作，但并未对数据质量或清洗等环节提供有力支撑。
• 系统在易用性方面存在明显不足，“重量级”特征突出。所谓“重量级”，指的是现有功能