配置KafkaConsumer简易流程
发布时间
阅读量:
阅读量
Kafka Consumer机制解析
Kafka消费的配置参数如下:
bootstrap.servers:用于指定Kafka服务器的地址。
group.id:表示消费者组的名称。不同组名可以实现数据的重复消费。例如,若先使用组名A消费了Kafka中的1000条数据,但希望再次消费这1000条数据而无需重新生成,则只需修改组名为其他名称即可达成重复消费的目的。
enable.auto.commit:用于控制是否自动提交偏移量,默认设置为true。
auto.commit.interval.ms:定义从poll(拉取)操作开始到会话结束的时间间隔。
session.timeout.ms:设置消费者的会话超时时间。
max.poll.records:指定每次拉取操作最多获取的消息条数。
auto.offset.reset:定义消费者的偏移量重置规则,默认值为earliest。earliest模式下,若各分区存在已提交的偏移量,则从该偏移量处开始消费;若不存在已提交的偏移量,则从分区起始位置开始读取。latest模式下,若有已提交的偏移量则继续从该位置读取;若无则仅读取新产生的数据。none模式下,只有当所有分区均存在已提交的偏移量时才从对应位置开始读取;否则将抛出异常。
key.serializer:键的序列化方式,默认采用org.apache
全部评论 (0)
还没有任何评论哟~
