Advertisement

在Flume系统中使用分类选择器

阅读量:

1.需求: 在编号为102的设备上启动agent1,其配置为(netcatsource—memorychannel—avrosink);在相同编号的设备上启动agent2,其配置为(execsource—memorychannel—avrosink)。在编号为103的设备上启动agent3,其配置为(avrosouce---- 2 memorychannel—2sink(loggersink,hdfssink))。其中,loggersink仅用于输出由agent1产生的数据;而hdfssink则专门用于输出由agent2生成的数据。

在这里插入图片描述

2.所需组件
2.1 多路复用通道选择器
多路复用通道选择器:将事件信息分配至对应的通道之中!

具体分配方式:依据预设配置,从事件头部提取特定键值对应的信息,并根据该信息的映射关系,将其导向相应的通道!

配置设置:

selector.type replicating multiplexing
selector.header flume.selector.header

全部评论 (0)

还没有任何评论哟~