Submit JavaWeb tasks to Spark standalone cluster and monitor
发布时间
阅读量：
阅读量
- 通过Java Web平台向Spark Standalone集群提交作业并实施过程监控
- 运行环境配置
- 工程资源获取地址
- Spark作业提交操作步骤
- 遇到的疑难问题及对应解决方案
- 结语
Java Web提交任务到Spark Standalone集群并监控
1. 环境
| 软件 | 版本 | 备注 |
|---|---|---|
| IDEA | 14.1.5 | |
| JDK | 1.8 | |
| Spark | 1.6.0 | 工程maven引用 |
| Spark | cdh5.7.3-spark1.6.0 | 实际集群5.7.3-1.cdh5.7.3.p0.5 |
| Hadoop | 2.6.4 | 工程Maven引用 |
| Hadoop | 2.6.0-cdh5.7.3 | 实际集群参数 |
| Maven | 3.3 |
2. 工程下载路径
该工程的GitHub存储位置为： javaweb_spark_standalone_monitor
3. Spark任务提交流程
此前已有相关的研究实践，了解可通过以下途径将任务提交至Spark Standalone集群：
Stri全部评论 (0)
还没有任何评论哟~