Data采用Flune进行分析

1.什么是Flume

• FLUME 是 HADOOP 生态系统中的一个重要组成部分。其核心功能在于处理实时数据流，例如当某个事件发生（如本地交易引发的数据更新）时，能够即时将日志信息传输至 HADOOP 的分布式文件系统 HDFS 中。
  • FLUME 能够从多种数据源中汇聚海量数据，并将其集中存储，因此也可视为一种数据聚合机制或服务。同时，它还具备良好的缓存能力，有助于提升数据处理的稳定性。
  • FLUME 拥有较强的容错机制。例如在数据采集速度超过系统写入能力的情况下，FLUME 可以在数据生产端与接收端之间进行动态调节，从而确保两者间的数据传输保持平稳和可控。
  • FLUME 支持多路径流量配置，能够实现多通道的输入与输出。例如，FLUME 的数据来源和目的地可以是多种类型，包括社交媒体、关系型数据库、HBASE、HDFS、前端控制台等，也可以与其他流处理工具如 SPARK STREAM、Kafka 或其他 FLUME 实例进行对接。
  • 通过一个类比来理解：设想有一个水池，一端进水一端出水；进水口可以连接不同的管道，出水口同样可以连接不同的管道，并且可以设置多个进水口和多个出水口。这里的“水”对应于 FLUME 中的 Event，“进水口”对应 Source，“出水口”对应 Sink，“水池”则对应 Channel；Sourc