数据采集与预处理技术考点复习——第三至第四章

第三章：大数据采集架构

1. 简述多级Flume架构

Flume Agent包括Sourse、Channel、Sink

• Source：Source负责接收数据并对接收到的数据进行封装处理后传输至一个或多个通道（Channel），支持http/1.1/2.0, JMS, RPC, NetCat, Exec, Spooling, Directory等协议。
• Channel：Channel充当临时存储区域，在其内存中暂存来自Source端接收到的数据信息。
• Sink：Sink模块负责读取并转发至下一个Agent或最终的目的地（包括HDFS, Logger, Avro, Thrift, IPC, File, Null, HBase, Solr等存储/传输介质），同时也可配置为直接返回null或其他自定义处理逻辑。

2. 简述Kafka数据采集架构

Kafka包括Consumers、Broker、Producers

• 消费者：即接收方。他们可以订阅单个或多主题，并从生产者那里获取实时更新的数据流。
• Brok