Kafka系统高吞吐低延迟原理

目录

• 顺序访问与写入
  • 页面缓存机制
  • 零数据复制技术
  • 区域划分与分段管理+索引结构
  • 集中式读取与写入操作
  • 批量数据压缩处理

顺序读写

Kafka将消息内容以持久化的方式存储于本地磁盘之中，实际上无论是内存还是磁盘，其读写速度的快慢主要取决于寻址方式。磁盘存在顺序读写与随机读写两种模式，内存同样具备这两种读写方式。尽管基于磁盘的随机读写效率较低，但其顺序读写的性能却非常出色。Kafka正是借助磁盘的顺序读写机制来优化整体性能，其消息在本地磁盘文件末尾持续追加，而非采用随机写入方式，从而显著提升了系统的写入吞吐能力。每一个Partition本质上对应一个独立的文件，在接收到消息后，Kafka会将数据追加至该文件末尾。由于该方法无法实现数据删除操作，因此Kafka不会主动清除任何数据内容，而是完整保留所有历史信息。对于每个消费者（Consumer）而言，在访问特定Topic时都会维护一个offset参数，用于标识当前已读取到的数据条目位置。

假设有两个消费者，Consumer1分别对应Partition0和Pa