Spark集群构建及验证环境搭建状态（三台机器）
发布时间
阅读量：
阅读量
基于Hadoop平台，构建Spark分布式集群的实施步骤如下：
(1) 首先需获取Spark集群运行所依赖的基础组件，本文涉及的软件包包括：Scala-2.10.4以及spark-1.4.0-bin-hadoop
(2) 对上述所需软件进行逐一安装配置
(3) 完成安装后，启动集群并检查其运行状态
(4) 利用spark-shell工具对Spark的功能进行验证测试
1.Spark集群所需软件
在已搭建完成的hadoop集群环境之上进行spark集群的构建，本阶段所依赖的核心软件包括：Scala-2.10.4以及spark-1.4.0-bin-hadoop。这两个版本的安装包均可通过互联网获取，为方便用户下载，此处特别提供相应的下载链接：http://pan.baidu.com/s/1kVFtn9d**** 密码：6o36
**
**
2.安装Scala与Spark
2.1 安装scala
在Master节点中，用户需启动终端并运行命令：mkdir /usr/llib/scala，随后进入已下载文件的所在目录，对scala的压缩包进行解压操作，执行过程可参考如下图示：
还没有任何评论哟~