批处理大规模数据接入系统开发计划

近期在规划一个批量数据接入系统的方案。这个系统将主要从以下几个方面开展工作：首先收集自外部数据库、文件存储以及各种非结构化数据源的数据；然后经过清洗和预处理后储存在目标数据库或分布式存储平台中；最后对这些整合后的信息进行清洗与整合，并按照功能需求将它们分为基础数据库与主题专门库两类。

• 采集数据源与目标数据源
  数据源主要包含来源数据与目标库两大类信息，并非单纯的连接配置操作；其中不仅涉及数据库连接参数设置这一核心内容，在具体实施过程中还需考虑文件获取位置与存储格式等多个维度的具体需求设置。本功能的重点在于实现对主流数据库类型及常见文件格式的支持，并通过灵活配置以满足不同场景下的使用需求

• 数据采集
  本流程通过从源数据库获取数据后，并通过简单的映射将其存储到目标数据库中。目标数据库位置通常支持关系型数据库或HDFS存储等服务，在前者情况下适合处理结构化数据，在后者情况下适合处理非结构化数据。整个采集过程可划分为以下主要步骤：
  1）源配置设置 。根据具体需求选择需采集的数据，并依据不同数据源类型，在表或文件级别进行选择设置；可以根据不