Hivehive特殊分隔符

文章结构概览

• HIVE 特殊分隔符处理
  • • 1. 运用 RegexSerDe 并结合正则表达式实现字段的提取
    • 2. 设计并采用自定义的 InputFormat 方案以应对特殊分隔符带来的挑战

HIVE特殊分隔符处理方法

补充：hive 读取数据的机制：

首先通过 InputFormat<默认为：org.apache.hadoop.mapred.TextInputFormat >的具体实现类对文件数据进行读取，逐条返回记录（可以是实际的行，也可以是根据逻辑定义的“行”）

接下来借助 SerDe<默认为：org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe>的具体实现类，对前述逐条返回的记录进行字段划分。Hive 在默认设置下仅支持单字节作为字段分隔符，若数据文件中采用的是多字符作为分隔符，则需进行特别处理，如下所示：

    01||huangbo

    02||xuzheng
    03||wangbaoqiang
    
    
         
         
         

1. 使用 RegexSerDe 通过正则表达式来抽取字段

    # 1. 建表
    create