在Flume系统中使用分类选择器
发布时间
阅读量:
阅读量
1.需求: 在编号为102的设备上启动agent1,其配置为(netcatsource—memorychannel—avrosink);在相同编号的设备上启动agent2,其配置为(execsource—memorychannel—avrosink)。在编号为103的设备上启动agent3,其配置为(avrosouce---- 2 memorychannel—2sink(loggersink,hdfssink))。其中,loggersink仅用于输出由agent1产生的数据;而hdfssink则专门用于输出由agent2生成的数据。

2.所需组件
2.1 多路复用通道选择器
多路复用通道选择器:将事件信息分配至对应的通道之中!
具体分配方式:依据预设配置,从事件头部提取特定键值对应的信息,并根据该信息的映射关系,将其导向相应的通道!
配置设置:
| selector.type | replicating | multiplexing |
|---|---|---|
| selector.header | flume.selector.header |
全部评论 (0)
还没有任何评论哟~
