Spark Streaming 实战练习

文章目录

• 数据规模
• 更新状态键
• 对键值进行归约并设置窗口
• 统计指定时间段内出现频率最高的词汇TopN

WordCount

1、需求&准备
图解

为了在Linux服务器上安装nc工具，我们首先要了解其用途及其相关功能。netcat的缩写是nc，在最初的开发阶段它是被设计用来配置路由器，并通过特定端口进行数据传输操作。根据系统需求，在终端中执行命令yum install -y nc即可完成该工具包的安装。

• 启动一个服务端并开放9999端口,等一下往这个端口发数据
  nc -lk 9999

• 发送数据

2、代码演示

    package cn.itcast.streaming
    
    import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
    import org.apache.spark.{SparkConf, SparkContext}
    import org.apache.s