Advertisement

如何在hadoop完全分布式中安装spark和scala 安装Spark和 Scala 框架在Hadoop 完全分布式环境中

阅读量:

1.1 机器准备

配置至少两台Linux操作系统服务器,并确保已正确安装JDK1.8环境。

1.2 下载Spark安装包

在这里插入图片描述

将安装包上传至Linux系统
将spark-2.1.1-bin-hadoop2.7.tgz文件传输至Linux平台
对安装包进行解压操作,并将其放置于设定的目录中

复制代码
    tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz 
    
    
      
    

1.Spark配置与环境搭建

Spark支持多种部署方式,包括Local、Local-Cluster、Standalone、Yarn以及Mesos,其中Standalone集群部署方式因其典型性被选为本次研究的对象。
进入Spark的安装路径

复制代码
    cd /home/hduser/software/spark/conf
    
    
      
    

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/ima

全部评论 (0)

还没有任何评论哟~