Hive:横向聚合与纵向扩展
发布时间
阅读量:
阅读量
( 一 )基本概念
1. Hive 集合数据类型
| 数据类型 | 描述 | 语法示例 |
|---|---|---|
| struct | 通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过 字段名.first来引用。 | struct<street:string, city:string> |
| map | MAP是一组键-值对元组集合,使用数组表示法可以访问数据。例如,如果某个列的数据类型是MAP,其中键->值对是’first’->’John’和’last’->’Doe’,那么可以通过字段名[‘last’]获取最后一个元素 | map(‘first’,‘JOIN’,‘last’,‘Doe’) |
| array | 数组是一组具有相同类型和名称的变量的集合。这些变量称为数组的元素,每个数组元素都有一个编号,编号从零开始。例如,数组值为[‘John’, ‘Doe’],那么第2个元素可以通过数组名[1]进行引用。 | array(‘john’,‘Doe’) |
2. Hive函数
Hive的函数大体上可分为三类:包括个人定制的UDF、个人定制的聚合功能以及私人定制的表生成功能。
- UDF:单输入单输出模式即为udf功能其工作流程是一行数据输入后经过处理生成一行对应的结果例如substri
全部评论 (0)
还没有任何评论哟~
