日志收集系统Flume调研笔记 - Flume介绍

获取用户行为数据无疑是构建推荐系统的基础环节，而Apache基金会推出的Flume项目则专为分布式日志收集而设计。本篇内容为Flume调研笔记的第一部分，重点阐述Flume的核心架构，后续的笔记将通过具体案例展示Flume的配置与应用流程。

本次研究采用的是当前最新版本的Flume-NG 1.5.2，其系统架构相较于早期的Flume-OG存在明显差异，如需了解两者之间的区别，可参考FlumeWiki文档的相关说明。

1. Flume是什么

Flume隶属于Apache基金会，是一款开源软件，其构建了一种分布式的、具备可靠性和高可用性的体系架构，能够有效采集、整合并传输源自多个来源的大规模日志信息（例如多台WebServer所产生的日志数据），并且具备将这些信息集中存入通用存储系统（如HDFS）的能力。

2. Flume的适用场景

Flume最常见的应用场景是将来源于不同渠道的日志信息进行整合，并将其统一传输至集中式存储系统（例如HDFS或Kafka）。在处理流式计算任务的场景下（如实时推荐系统），Flume常常被广泛采用。

Flume所接收的数据输入被定义为"event data"。从Flu