Advertisement

Flume 03 — Channel

阅读量:

Flume系统内嵌多种类型的Channel组件,以下将重点阐述Memory Channel、File Channel、Kafka Channel以及Spillable Memory Channel这几种主要类型。

类型 说明
Memory Channel Event数据存储在内存中。
JDBC Channel Event数据存储在持久化存储中,当前Flume Channel内置支持Derby。
Kafka Channel Event数据存储在Kafka Topic中。
File Channel Event数据存储在磁盘文件中。
Spillable Memory Channel Event数据存储在内存中和磁盘上,当内存队列满了,会持久化到磁盘文件(当前试验性的,不建议生产环境使用)。
Pseudo Transaction Channel 单元测试用。
Custom Channel 自定义Channel实现。

Memory Channel

Memory Channel将Event存储于内存队列之中,该队列对于Event的存储数量设有最大限制。鉴于所有Event数据均保存在内存中,Memory Channel具备最优的处理性能,但同时也伴随着数据丢失的可能性。一旦Flume发生崩溃或重启,Channel中所存储的所有Ev

全部评论 (0)

还没有任何评论哟~