Flume 03 — Channel
发布时间
阅读量:
阅读量
Flume系统内嵌多种类型的Channel组件,以下将重点阐述Memory Channel、File Channel、Kafka Channel以及Spillable Memory Channel这几种主要类型。
| 类型 | 说明 |
|---|---|
| Memory Channel | Event数据存储在内存中。 |
| JDBC Channel | Event数据存储在持久化存储中,当前Flume Channel内置支持Derby。 |
| Kafka Channel | Event数据存储在Kafka Topic中。 |
| File Channel | Event数据存储在磁盘文件中。 |
| Spillable Memory Channel | Event数据存储在内存中和磁盘上,当内存队列满了,会持久化到磁盘文件(当前试验性的,不建议生产环境使用)。 |
| Pseudo Transaction Channel | 单元测试用。 |
| Custom Channel | 自定义Channel实现。 |
Memory Channel
Memory Channel将Event存储于内存队列之中,该队列对于Event的存储数量设有最大限制。鉴于所有Event数据均保存在内存中,Memory Channel具备最优的处理性能,但同时也伴随着数据丢失的可能性。一旦Flume发生崩溃或重启,Channel中所存储的所有Ev
全部评论 (0)
还没有任何评论哟~
