Kafka性能优化

目录

• 1、用户配置参数调优
  • • 1.1 enable.auto.commit
    • 1.2 auto.offset.reset
    • 1.3 session.timeout.ms
    • 1.4 max.partition.fetch.bytes
    • 1.5 fetch.min.bytes
    • 1.6 fetch.max.wait.ms
    • 1.7 receive.buffer.bytes + send.buffer.bytes
    • 1.8 client.id

  • 2、消息发送端参数调整

  • • 2.1 bootstrap.servers
    • 2.2 acks
    • 2.3 buffer.memory
    • 2.4 batch.size
    • 2.5 compression.type
    • 2.6 retries
    • 2.7 linger.ms
    • 2.8 client.id

1、消费者参数优化

在实际生产场景中，通常需要依据具体的数据规模与体量来确定更为优化的参数设置。
接下来将分析几种常见的参数配置。

1.1 enable.auto.commit

系统默认将消费者自动提交偏移量的参数设定为 true，但为最大限度减少数据