Java Web应用部署到Spark
发布时间
阅读量:
阅读量
软件版本信息:
Spark1.4.1、Hadoop2.6、Scala2.10.5、MyEclipse2014、intelliJ IDEA14、JDK1.8以及Tomcat7;
运行环境配置:
Windows7系统(已预装JDK1.8、MyEclipse2014、IntelliJ IDEA14及Tomcat7);
CentOS6.6虚拟机环境(部署有Hadoop伪分布式集群、Spark standAlone集群及JDK1.8);
CentOS7虚拟机环境(包含Tomcat与JDK1.8)。
1. 场景:
- 在Windows系统中,通过Java程序调用Spark以运行由Scala语言开发的Spark程序,该过程涉及两种不同的执行方式:
1> 将任务提交至Spark集群,并采用standAlone模式进行处理;
2> 将任务提交至Yarn集群,并选择yarn-client模式进行执行;
-
在Windows环境下,开发Java Web程序并调用Spark来执行Scala编写的Spark程序,其运行方式同样包含两种模式,具体可参照第1部分的内容。
-
在Linux系统中,运行Java Web程序并调用Spark以执行Scala开发的Spark程序,其涉及的运行模式同样包括两种类型,相关内容可参考第1部分的描述。
实现方案与技术细节
1.
全部评论 (0)
还没有任何评论哟~
