Spark UI的工作方式及其事件监听机制

Spark UI实现原理与事件监听机制

一、引言

Spark UI是了解 spark任务运行情况的重要入口端，并且也是进行 spark任务性能优化与调试的关键重要工具。它提供了查看 job 以及 stage 的详细状态信息，并且能够访问 storage 的使用情况等详细数据；同时也能获取 environment 变量以及 excutors 的运行状态等信息；此外还可以访问 spark SQL 的执行结果等数据来源的具体是如何实现的；本文将从源码的角度深入解析 spark ui 的数据获取机制以及 spark 事件监听系统的运行原理

二、Spark UI实现原理与事件监听机制

SparkUI作为driver提供的一个网络服务，在线展示了应用程序的整体运行状态数据，并据此可观察到各个executor在运行过程中的持续提交相关信息及资源消耗情况。如图所示为SparkUI架构图，在该系统中采用事件监听与异步更新的方式实现了对任务状态的实时监控。采用事件监听机制有何优势？

通过函数调用与同步更新的方式进行操作时，在任务数量与监控指标显著增加的情况下可能会出现由于Driver所处JVM中的线程数量有限而导致更新操作未能及时完成的现象从而影响数据更新的效果。
在分布式环境下由于可能