Advertisement

HIVE中导入文件后数据量增加的原因及处理换行符的方法

阅读量:

当我们通过Excel将文件导入至Hive时,并未遇到任何问题。然而,在查看数据时发现数据显示有所增加。具体而言,在Excel中原始数据总量为8,000条记录,在Hive上查询结果显示已达到1万以上(即增加了约2,577条记录),随后开始调查原因

首先从hive建的表开始查起,表的建表语句如下下所示:

复制代码
 create table if not exists TMP_T1

    
 (
    
  T1 VARCHAR(100) comment 't1',
    
  T2 VARCHAR(100) comment 't2',
    
  T3 VARCHAR(100) comment 't3'
    
 )
    
 COMMENT '临时表1'
    
 ROW FORMAT DELEMITED
    
 FIELDS TERMINATED BY '\001'
    
 LINES TERMINATED BY '\n'
    
 STORED AS Parquet;

在构建该表格的过程中,默认情况下就能观察到这一设置信息

id col1
1 测试1 的结果
2 测试2的结果

上面的格式导入到hive中,hive查询出来的数据是怎么样的呢?

id col1
1 测试1
2

全部评论 (0)

还没有任何评论哟~