storm自定义调度器实现 - directscheduler

前言

近期在深入钻研 Apache Storm 的任务调度机制时，我产生了一个强烈的念头：尝试对 Storm 原生的调度逻辑进行定制化改造。这种改造并非为了炫技，而是为了解决实际生产环境中遇到的特定痛点。在复杂的分布式数据处理场景下，标准的调度策略往往难以满足对资源隔离、特定硬件亲和性或低延迟响应的严格要求。因此，探索并实现一套能够灵活适配现实业务场景的调度方案，成为了本次技术探索的核心目标。通过深入底层代码并重构调度流程，我们旨在构建一个更具弹性和可控性的任务执行环境，从而提升整体系统的资源利用率和业务稳定性。

Storm调度的相关术语

在深入剖析 Storm 的 Scheduler 源代码之前，必须先厘清几个核心概念。这些术语构成了理解调度算法的基础，只有准确把握它们的含义，才能透彻理解后续复杂的调度过程。
首先，我们要理解“Slot”的概念。在 Storm 的架构中，Slot 代表 Supervisor 节点上的一个最小资源单元。每一个 Slot 都绑定了一个唯一的端口号，且遵循独占原则，即一个 Slot 在同一时刻只能被一个 Worker 进程所占用。这意味着，Supervisor 的 Slot 数量直接决定了该节点上能并行运行的 Worker 进程上限，是资源调度的基本粒度。
其次，是 Worker、Executor 与 Task 的层级关系