HIVE中导入文件后数据量增加的原因及处理换行符的方法
发布时间
阅读量:
阅读量
当我们通过Excel将文件导入至Hive时,并未遇到任何问题。然而,在查看数据时发现数据显示有所增加。具体而言,在Excel中原始数据总量为8,000条记录,在Hive上查询结果显示已达到1万以上(即增加了约2,577条记录),随后开始调查原因
首先从hive建的表开始查起,表的建表语句如下下所示:
create table if not exists TMP_T1
(
T1 VARCHAR(100) comment 't1',
T2 VARCHAR(100) comment 't2',
T3 VARCHAR(100) comment 't3'
)
COMMENT '临时表1'
ROW FORMAT DELEMITED
FIELDS TERMINATED BY '\001'
LINES TERMINATED BY '\n'
STORED AS Parquet;
在构建该表格的过程中,默认情况下就能观察到这一设置信息
| id | col1 |
|---|---|
| 1 | 测试1 的结果 |
| 2 | 测试2的结果 |
上面的格式导入到hive中,hive查询出来的数据是怎么样的呢?
| id | col1 |
|---|---|
| 1 | 测试1 |
| 2 |
全部评论 (0)
还没有任何评论哟~
