Flink Application部署方式探索

简介

application模式的特点在于为每个任务创建独立的集群，且该集群在任务执行完成后将被自动清除。
差异之处在于：per-job模式与session模式均是由客户端运行主方法，获取所需依赖后生成JobGraph。
随着提交的任务数量持续增加，客户端节点在下载依赖过程中所占用的带宽以及生成JobGraph时产生的CPU资源消耗，将成为整个集群任务提交过程中的关键制约因素。
而在application模式中，上述操作均在JobManager节点上完成，从而将相关负载分布至多个计算节点中。

应用范围界定

此种部署模式自Flink 1.11.0版本起被引入。现阶段仅适用于Yarn与K8s两种部署方式 __ 。

提交方式

    ./bin/flink run-application -t yarn-application \
    -Djobmanager.memory.process.size=2048m \
    -Dtaskmanager.memory.process.size=4096m \
    /home/flink/app-test.jar 
    
    
    AI写代码bash