Flume（具体版本信息）

目录

• Flume架构

  • Flume拦截器

  • 自定义Source/Sink/Interceptor

  • Flume如何保证消息的可靠性

  • • Flume的事务机制

  • Flume小文件处理

  • Flume把物理机内存占用比较高，怎么优化

Flume是一款具备分布式特性、稳定运行且具有高度可用性的系统，专门用于大规模日志信息的收集、整合与传输。该系统能够从多种数据源获取信息，包括文件以及Socket数据包等，并可将这些数据传送至HDFS、HBASE、HIVE、Kafka等多个外部存储平台。对于常规的数据采集任务，仅需对Flume进行基础配置便可完成。同时，针对一些特殊应用场景，Flume还提供了良好的自定义扩展功能，使其能够广泛应用于各类日常数据采集任务之中。

在Flume中，事件（Event）作为其最基本的数据单元贯穿整个处理流程。每个Event包含日志内容（以字节数组形式存在）以及相关的头信息。这些Event由Agent外部的Source生成，在Source捕获到事件后会执行相应的格式化操作，并将事件推送至一个或多个Channel中。Channel可以被视作一种缓冲区域，用于暂时存储事件直至Sink完成对该事件的处理。Sink则承担着将日志持久化或转发至其他Source的任务。

Flume架构解析

![在这里插入图片