Advertisement

pyspark(二):ubuntu docker搭建Hadoop集群

阅读量:

Spark需与Hadoop的HDFS协同运作,而Hadoop本身具备分布式特性,因此在单一主机上构建集群存在一定难度。通过查阅相关资料后,发现可借助Docker进行环境搭建,随即开始实施:
github项目:https://github.com/kiwenlau/hadoop-cluster-docker
参考文章:https://www.jianshu.com/p/b75f8bc9346d

Docker安装指南

本文中所采用的安装版本为docker.io,然而我建议使用docker-ce进行安装,因为docker.io的版本较为陈旧,具体操作步骤如下:
1、按照常规做法,首先更新APT软件包的源信息
sudo apt-get update
2、安装相关软件包,以便使apt能够通过HTTPS协议访问存储库

复制代码
    sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common
    
      
      
      
      
      
    

3、由于教育网镜像被墙,因此使用以下命令:
`curl -fsSL https://mirr

全部评论 (0)

还没有任何评论哟~