线上kafka问题解决与思考

目录

• 问题

  • 原因分析

  • • 生产端因素
    • 消费端潜在因素
    • • 1. 多条重复信息被分配至同一消费实例的相同批次进行处理
      • 2. 多条重复信息被分配至同一消费实例的不同批次进行处理
      • 3. 多条重复信息几乎同时被分配至不同消费实例进行处理

  • 应对策略

  • • 1. 对批量接收的信息实施去重操作
    • 2. 对分发至不同消费实例的信息采用Redis实现去重机制
    • 3. 在消息发送前由生产端执行路由分区操作

  • 消费超时触发重平衡引发的重复消费现象

  • • Kafka消费机制简要说明
    • • enable.auto.commit配置项
      • auto.commit.interval.ms参数设置
      • session.timeout.ms参数设置
      • max.poll.interval.ms参数设置
      • max.poll.records参数设置
      • 导致重复消费的因素分析
      • 解决该问题的可行方案

  • 其他相关事项

  • • poll(5000)中5000所代表的具体含义
    • 当poll方法执行过程中出现异常该如何应对？

问题

在线上ELK日志系统中检测到K