如何确保Kafka中不会丢失消息也不会重复处理同一消息

Kafka学习资料索引：kafka目录

文章结构概述

• • 一、生产者在推送消息过程中如何确保消息既不丢失也不重复
    • • 1.1、整体情况概述
      • • 1.1.2、ISR具体指的是什么？

    • 1.1.3、ACK确认机制

    • 1.1.4、三种语义类型

      • 1.2、流程归纳
      • 1.3、当follower与leader发生故障时，如何维持数据的一致性

    • 二、消费者在使用过程中可能出现的消息丢失以及重复消费问题

    • 三、总结分析

Kafka系统中如何实现消息的可靠传输与避免重复消费？

需从两个层面进行探讨：消息的推送过程与消息的消费过程，即分别从生产者和消费者两个角度展开分析。

首先应当了解topic这一概念。

• Topic：即话题，可将其视为一种队列形式，生产者与消费者均针对特定的topic进行交互。
• 每一个topic下包含多个partition，而每个分区内部又存在多个副本，其中包括一个leader副本和若干个follower副本。

当生产者发送消息时，需要明确指定目标topic以及该topic下的具体partition。

在同一个消费者组内，每个消费者会负责处理一个topic中不同分区的数据，并且同一分区的数据在同一时刻只能被该组