大数据原生集群（基于Hadoop2.X）的本地测试环境搭建

本篇安装版本

flink1.7
Azkaban-2.5.0
presto 0.196
druid (imply-2.7.10)
jupyterLab用最新版就行

---

Flink

一、解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz，进入conf目录中。

二、修改配置

请在flink/conf/flink-conf.yaml文件中进行如下配置：在起始位置添加jobmanager.rpc.address字段。该字段指定jobmanager的地址，在集群运行时通过RPC协议与其他节点进行通信。其中具体设置为HDP集群的地址。因为总共只有FLINK部署在三台节点上。

更新conf/slave文件内容，在其中新增集群中的Task节点，并支持之前配置的HDP2以运行task任务

3）scp分发给另外两台机子

4）启动过程在jobmanager所在的节点执行，并向其他节点发出启动命令；然而即使不会产生错误信息也会导致flink功能无法全面激活；最后可以通过HTTP URL http://hdp2:8081对整个flink集群及其任务进行实时监控与管理。

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05