Submit tasks to CDH cluster in Windows Spark on YARN

软件版本：

IDE：Intellij IDEA 14，Java：1.7，Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ； Hadoop：hadoop2.6.0-cdh5.8.0；

部署环境：

在 Windows 10 系统版本上运行 IDEA 并激活 Tomcat 服务，在 Tomcat 环境下利用基于 YARN 的 Spark 框架调用集成的 Spark 算法实现；

该集群采用了从Cloudera官网获取的虚拟机版本（因为这是针对单机版本的需求而对YARN配置文件进行了相应设置），并将其作为主要运行环境；同时对虚拟机进行了静态IP地址配置以确保网络通信稳定性）。

工程参考：

Web 工程采用 Spark 集群算法，并通过 Spark On YARN 方式完成调用；参考相关技术综述 [基于 Spark ALS 在线推荐系统] ，不过该方案仅适配于原生的 Spark 和 Hadoop 安装包完成集群部署及工程配置；（实际上并不适合 CDH 集成环境；如果确实适合，则无需撰写此文章）

2. Spark算法封装方案：https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0 ，通过安装该工程即可顺利获取相应的封