数据采集学习Flume应用

Flume应用

Flume是一款具备分布式架构、稳定运行且高度可靠的系统，主要用于大规模日志信息的采集、集中处理以及数据传输。**
在Flume系统中，最为关键的组成部分是agent，其本质是一个基于Java语言开发的进程，通常部署于负责日志采集的节点上。每个agent内部由三个主要模块构成：
· Source ：作为数据采集接口，用于与各类数据来源 进行连接，并实现数据的获取；
· Channel ：作为agent内部的数据中转机制，承担着将从source获取的数据转发至sink的功能；
· Sink ：作为数据输出端点，用于将采集到的信息传递给下一级agent或直接传输至最终的数据存储系统。
在整个数据流转过程中，event作为Flume系统中最基础的数据单元持续流动，承载着整个传输过程中的信息传递任务。

**【工作原理

较为普遍的Source、Channel、Sink类型包括:

![在这里插入图片描述](https://ad.itadn.com/c/weblog/bl