Flume+Kafka+HDFS 运用

Flume+Kafka+HDFS数据流处理架构

实验内容概述

如下图所示：

在某一具体应用场景中，存在一个数据来源（可通过类型为Exec Source或NetCat Source的Agent a1进行模拟），

为了便于后续的数据分析工作，需对事件的产生IP、时间（格式：年月日时分秒）以及事件类型进行记录。其中，事件类型依据事件Body中是否包含WARNING：、ERROR：、**INFO：**来确定，若包含则分别对应WARNING、ERROR、INFO类型，若不包含则无需记录事件类型。经过处理后，相关事件将被汇总至Agent a2。

Agent a2根据所识别出的事件类型，将不同类型的事件分别发送至对应的通道以进行后续处理，并将属于WARNING和ERROR类型的事件写入Kafka集群。这些信息最终会被消费者及Agent a3进行消费。

步骤分析