一个ETL流程

数据样本：
/**

• SDNkMu8ZT68 w00dy911 630 People & Blogs 186 10181 3.49 494 257 rjnbgpPJUks EYC5bMF0ss8 EUPHdnE83GY
  */

1.1ETL需求

①无论表格中所涉及的集合类型为何，各集合内部元素的分隔符号需保持一致。在数据清洗过程中，应确保所有集合元素的分隔符统一，例如将related ids字段中的元素分隔符统一调整为&符号。

②集合内部元素所采用的分隔符应当与字段间所使用的分隔符存在差异。

③对category字段中出现的多余空格进行清理，例如将类似tt & aa这样的格式进行规范化处理。

④每条记录在以\t进行分割后，所得字段数目不得少于9个，若未达到该要求，则视为数据格式不合规。

1.2如何ETL

①在常规操作中，对于程序生成的数据格式需设定明确规范，确保数据标准化，以减少后续ETL处理的频率。

②若涉及ETL操作

可借助shell脚本中的cut、wc、awk等工具完成ETL任务

编写MapReduce程序执行ETL（当前所采用方式）

亦可运用如Kettle等专业工具进行处理

1.3编写ETL程序**

工具类

    public class ETLUtil {
    
    publi