Kafka确保数据稳定性和一致性

目录

• 数据发送的可靠性保障（Kafka高可用机制）
  • • • Topic 分区与副本机制
      • 生产者向Broker节点传输数据信息
      • Leader节点的选举过程

  • 消费端数据接收的可靠性

  • 数据同步的一致性问题

  • • ISR机制的应用

  • Kafka系统中数据丢失的可能性

  • 导致Kafka出现重复消费的因素

Producer发送数据可靠性（Kafka高可用）

Kafka 数据的可靠性可以从多个层面进行分析，包括生产者向 Broker 发送消息的过程、Topic 分区副本的机制以及 Leader 选举的策略等方面。

Topic分区副本机制设计

为确保数据的可信度，Kafka 自 0.8.0 版本起引入了分区副本机制，即每个分区可由用户设定多个副本（例如在创建主题时指定 replication-factor 参数，或在 Broker 层面配置 default.replication.factor 参数），通常设置为3。
Kafka 能够保障单个分区中事件的有序性，这些分区既可以处于在线状态（可用），也可以处于离线状态（不可用）。在多个副本中，其中一个副本作为 Leader，其余副本则为 follower。所有的读写操作均通过 Leader 完成，