Advertisement

Java Web应用部署到Spark

阅读量:

软件版本信息:

Spark1.4.1、Hadoop2.6、Scala2.10.5、MyEclipse2014、intelliJ IDEA14、JDK1.8以及Tomcat7;

运行环境配置:

Windows7系统(已预装JDK1.8、MyEclipse2014、IntelliJ IDEA14及Tomcat7);

CentOS6.6虚拟机环境(部署有Hadoop伪分布式集群、Spark standAlone集群及JDK1.8);

CentOS7虚拟机环境(包含Tomcat与JDK1.8)。

1. 场景:

  1. 在Windows系统中,通过Java程序调用Spark以运行由Scala语言开发的Spark程序,该过程涉及两种不同的执行方式:

1> 将任务提交至Spark集群,并采用standAlone模式进行处理;

2> 将任务提交至Yarn集群,并选择yarn-client模式进行执行;

  1. 在Windows环境下,开发Java Web程序并调用Spark来执行Scala编写的Spark程序,其运行方式同样包含两种模式,具体可参照第1部分的内容。

  2. 在Linux系统中,运行Java Web程序并调用Spark以执行Scala开发的Spark程序,其涉及的运行模式同样包括两种类型,相关内容可参考第1部分的描述。

实现方案与技术细节

1.

全部评论 (0)

还没有任何评论哟~