Java连接Spark集群

软件环境：

spark-1.6.3-bin-hadoop2.6、hadoop-2.6.4、jdk1.7.0_67、IDEA14.1.5 ；

基于伪分布式架构构建的Hadoop集群在运行过程中仅启用了HDFS功能；而Spark系统则仅分配了一个Worker节点用于处理任务；通过虚拟机环境搭建了完整的Hadoop和Spark集群，并成功配置了开发环境；其中IDE直接部署于Windows 10系统中作为开发工具；该虚拟机的IP地址为机器名:port:端口（具体配置需根据实际需求进行设置）；而本电脑的IP地址配置为：本地机器IP地址）。

基于Hadoop YARN框架的Java Spark集群连接方案参考：Java Web提交任务到Spark；撰写本文的目的在于，在实际应用中发现基于Hadoop YARN调用Spark集群存在性能优化空间后所进行的技术探索与实践尝试。目前采用的是单节点集群配置，在实际应用中若采用多节点集群可能会遇到一些挑战

本次测试进行了五次实验，并最终实现了既能连接Spark Standalone集群又能监控该任务的目的。所有代码可以在 https://github.com/fansy1990/JavaConnectSaprk01 下载。

任务1：设置master直接连接

1.1. 创建Scala工程

配置SDK、