Kafka与Flume（0.x版）

Kafka与Flume均属于日志处理系统。其中，Kafka是一种分布式消息中间件，具备内置存储能力，并支持数据的推送与拉取操作。而Flume则采用管道流的方式进行数据传输，其架构由三个主要部分组成：agent（数据采集器）、collector（数据初步处理与写入）以及storage（存储器），各部分均可根据需求进行定制。例如，agent可选用RPC（Thrift-RPC）、文本文件等多种方式，而storage则通常指定为HDFS。尽管Kafka在日志缓存方面表现更为优越，但Flume在数据采集环节具有显著优势，能够支持多种数据源的接入并减少开发工作量。因此，在当前实际应用中，Flume与Kafka结合使用的模式较为常见。

• Kafka作为一种高度通用的系统架构，支持多个生产者和消费者共享多个主题（Topics）。相较之下，Flume则是一款专为向HDFS、HBase等系统发送数据而设计的工具，并针对HDFS进行了特别优化，同时集成了Hadoop的安全机制。因此，在需要多系统共享消费数据时宜选用Kafka；而在目标明确为Hadoop平台的数据传输场景下，则更适合使用Flume。
• Flume具备拦截器功能，可对数据进行实时处理，在过滤或限制流量方面具有显著作用。相比之下，Kafka需要依赖外部流处理系统才能实现类似功能。
• Kafka与Flume均为高可靠性的系统