ZooKeeper在Kafka中主要负责协调生产者与消费者之间的同步操作

目录

• 代理节点的注册流程
  • 主题的注册机制
  • 发送端的负载分配策略
  • 接收端的负载分配策略
  • 数据分区与接收端之间的关联性
  • 消息消费进度偏移量的存储方式
  • 接收端的注册过程

Broker注册机制设计

Broker采用分布式架构进行部署，各节点之间保持独立运行状态，但需借助注册系统实现对整个集群中Broker的统一管理，此时Zookeeper便被引入其中。在Zookeeper中，存在一个专门用于存储Broker服务器列表的节点：/brokers/ids。
每当Broker启动时，都会前往Zookeeper完成注册操作，具体表现为在/brokers/ids路径下生成对应的专属节点，例如/brokers/ids/[0…N]。
Kafka为每个Broker分配了一个全局唯一的数字标识符，不同Broker必须使用各自独立的ID完成注册流程。节点创建完成后，每个Broker会将自身的IP地址及端口信息记录至该节点内。值得注意的是，Broker所创建的节点属于临时类型，一旦发生宕机情况，相应的临时节点将被系统自动清除。

Topic注册

在Kafka系统中，属于同一Topic的数据信息会被划分为多个分区，并且这些分区会分布于不同的Broker节点上。关于这些分区的配置及其与Broker之间的映射关系，均由Z