Flume+Kafka+Kafka Stream

目录

使用Flume连接到Kafka Topic A。
配置并启动Zookeeper服务以支持Kafka。
创建新的Kafka主题。
详细配置Flume组件设置。
部署并运行Flume服务。
验证配置的正确性。

• 2、TopicA–>TopicB
• • 2.1 编写代码
  • 2.2 启动消费者监控TopicB

通过Flume收集数据至Kafka存储库中的TopicA，并随后利用Kafka Stream执行某些逻辑处理后的数据发送至Target TopicB。

目前存在的一张名为user_friends的表其字段布局如下去除首行标题通过Flume将数据发送至Kafka主题TopicA中并对第二列进行展平处理后发送至Kafka主题TopicB中

1、Flume–>Kafka TopicA

Flume向Kafka传输数据的主要手段是依赖于KafkaSink组件来进行数据处理与传输。具体流程包括以下几个方面：

1.1 启动Zookeeper和Kafka

这里启动一个单节点的Kafka作为测试：

    # 启动Zookeeper
    zkServer.sh start
    
    # 后台启动Kafka
    kafka-server-start.sh -daemon