Ooozie and Spark failed in the YARN requirement.
发布时间
阅读量:
阅读量
软件环境配置如下:
CDH:版本5.7.3;Oozie:版本4.1.0-CDH5.7.3;Spark:版本1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3;Hadoop:hadoop2.6.0-cdh5.7.3(HDFS采用高可用架构);
问题描述:
在采用CDH5.7.3版本进行操作时,启动了一个Oozie工作流,该流程通过Spark On YARN模式提交了一个Spark程序,然而在Oozie中该程序执行过程中出现了异常。进一步查看YARN的监控信息,发现对应任务存在错误提示(值得注意的是,若通过spark-submit --master yarn命令提交该Spark任务,则能够顺利完成并正常运行)。

解决思路概述
1. 首先就是各种网上找
然而并未检索到相关的资料,虽发现部分内容,但与本人所遇到的问题存在差异(有论坛提及可能是系统缺陷);
2. 查看源码
搭建测试环境后,需查阅相关源代码以定位引发需求失败的具体位置。如上图所示,红色框内即为对应信息,其具体代码内容如下所示:

还没有任何评论哟~
