Hadoop 3.1.0 ErasureCodingPolicy spark streaming任务失败原因分析
发布时间
阅读量：
阅读量
一、ErasureCodePolicy问题，引发streaming任务终止
1、任务失败的具体原因在于，当执行block操作时若出现未捕获的异常，将导致sparkcontext停止，具体如下
相关源码错误的位置，如需进一步了解，可根据错误日志进行追踪，此处仅展示关键的源码信息
AsyncEventQueue
private val dispatchThread = new Thread(s"spark-listener-group-$name") {
setDaemon(true)
override def run(): Unit = Utils.tryOrStopSparkContext(sc) {
dispatch()
}
}
private def dispatch(): Unit = LiveListenerBus.withinListenerThread.withValue(true) {
try {
var next: SparkListenerEvent = eventQueue.take()
while (next != POI全部评论 (0)
还没有任何评论哟~