五、kafka_2.x.y版本集群搭建 五、kafka_2.x.y版本集群搭建

①为什么要搭建kafka集群

在项目推进至后期阶段时，需要构建一个具备实时计算功能的组件，该组件所处理的实时数据均来源于kafka集群。kafka本质上是一种分布式消息队列系统，其底层架构依赖于zookeeper的支撑，而zookeeper的相关部署工作在四、zookeeper-3.4.5-cdh5.3.6集群搭建中已完成。

Scala 2.11.4安装配置

1、通过WinSCP工具将scala-2.11.4.tgz文件传输至虚拟机sparkproject1的/usr/local/目录中。

2、对scala-2.11.4.tgz文件执行解压操作，于虚拟机sparkproject1的local目录中运行命令：tar -zxvf scala-2.11.4.tgz

随后在local目录中输入：ll

接着删除该压缩文件，在local目录下执行：rm -rf scala-2.11.4.tgz

再次输入：ll，可观察到仅有scala-2.11.4文件夹存在，而原压缩包已被清除。

3、对scala目录进行名称修改，在虚拟机sparkproject1的local目录中运行命令：mv scala-2.11.4 scala

随后输入：ll，以确认操作是否完成。

4、设置与scala相关的环境变量配置

在虚拟机sparkproject1的local目录内