实战Elastic-Job--详解当当网分布式作业框架

Elastic-Job框架原理与应用解析

什么是作业?

作业本质上属于定时任务范畴，无需进行复杂的控制操作，只需在预设时间点执行既定的操作即可。

为什么需要作业?

时间驱动与事件驱动：通常情况下，内部系统可通过事件进行驱动，但在涉及外部系统时，则必须采用时间驱动的方式。例如，在获取外部系统价格信息时，通常每小时进行一次抓取，由于外部系统无法像内部系统那样通过发送事件来触发操作，因此只能依赖时间驱动机制。

批量处理与逐条处理：相较于逐条处理方式，批量处理能够更高效地处理大量累积的数据。在对实时性要求不高的场景下，批量处理相较于消息中间件更具优势；此外，某些业务逻辑本身仅支持批量处理方式。

系统内部与系统解耦：通常情况下，作业逻辑会被封装在系统内部运行；而消息中间件则主要用于实现不同系统之间的解耦。

**
**

Elastic-Job是什么?

elastic-job的核心设计理念在于构建一个去中心化的分布式定时调度体系，其灵感源自Quartz所采用的基于数据库实现的高可用性策略。然而，传统数据库本身并不具备分布式协调能力，因此在原有高可用架构的基础上，进一步引入了弹性扩展与数据分片的理念，从而更充分地发挥分布式服务器资源的潜力。elastic-job源自ddframe框架中dd-job模块的作业部分，