1. 离线存储仓-行为日志采集

数据采集模块—行为日志采集

• 用户行为数据收集

  • 一、系统结构图

  • 二、Kafka—Flume—HDFS方案设计

  • • 1.Flume架构设计
    • 2.数据源选择策略
    • 3.数据传输通道配置
    • 4.数据输出端设置
    • 5.Flume与HDFS的配置规划

  • 三、零点偏移问题分析

  • • 1.问题成因解析
    • 2.解决思路探讨
    • 3.代码实现方式

  • 四、Kafka-Flume-HDFS实施方案

  • • 1.配置文件设置方法
    • 2.系统启动与运行流程

  • 五、若干关键注意事项：

  • • 1.整体流程的选取原则

  • 六、总结分析

  • • 5.File Channel性能优化措施
    • 6.HDFS sink中对小文件的处理方式

用户行为日志采集

在此部分中，将进一步阐述从Kafka向HDFS进行数据传输的具体实施方式。

一、架构图

kafka到HDFS这一环节在整体架构图中对应的是上方所展示的部分。

二