Flime>sink组件及故障转移

文章结构概述

• 更丰富的数据源与数据汇接模块

  • 高可用性Flum-NG配置实例：故障转移机制

  • • 角色划分
    • node01部署并设置flume及相关文件复制脚本
    • node02与node03进行flumecollection的配置

  • 按照顺序执行的启动指令

  • • 故障转移测试
    • 具体实现代码

扩展source与sink组件应用

Flume提供了多种类型的source与sink，具体信息可查阅其官方文档以获取详尽说明
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.0/FlumeUserGuide.html

高可用Flum-NG配置案例failover

在完成单点Flume NG环境配置之后，接下来我们将构建一个具备高可用特性的Flume NG集群，其系统架构示意图如下所示：

从图中所展示的信息可以看出，Flume具备兼容多种存储方式的能力，此处仅以HDFS和Kafka为例进行说明（例如：用于存