Advertisement

Spark读Hive支持pmml

阅读量:

软件版本管理

CDH版本为5.8.0;Hadoop版本为2.6.0;Spark版本为1.6.0;Hive版本为1.1.0;JDK版本为1.7;SDK版本为2.10.6(Scala)。

工程下载地址:https://github.com/fansy1990/spark_hive_source_destination/releases/tag/V1.1

目标:

在Spark中加载PMML文件以进行数据处理(参考:<>)及Spark读写Hive(<>)的基础上,整合这两个操作,即使用Spark读取Hive表数据,然后加载PMML文件到模型,使用模型对读取对Hive数据进行处理,得到新的数据,写入到新的Hive表。)

实现:

1. 工程pom文件中,针对spark、spark-hive及pmml的相关依赖支持已被添加,具体如下:

复制代码
 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

全部评论 (0)

还没有任何评论哟~