Flink on yarn Wordcount

Flink on yarn执行Wordcount

• 一、开篇说明
  • 二、实验条件
  • 三、在 yarn 平台上实施的两种运行方式
  • • 3.1 Session-cluster 运行模式
    • 3.2 Per-Job-Cluster 模式初始化方法

一、研究背景与动机阐述

在采用Yarn模式进行Flink任务部署时，所使用的Flink版本必须具备Hadoop兼容性，同时Hadoop环境的版本需不低于2.2，并且集群内部需配置并运行HDFS服务。

二、实验环境配置与说明

• 本地操作系统：Windows 10 专业版；
  • WSL环境：Ubuntu 20.04 TS；
  • 容器工具：Docker 19.03
  • 分布式框架：Hadoop 2.7.4
  • 协调服务：Zookeeper 3.4.9
  • 流处理引擎：Flink 1.7.2

三、两种在 yarn 上运行的模式

3.1 Session-cluster 模式

Session-Cluster 模式要求首先初始化集群环境