docker安装Hadoop & Spark

通过docker进行hadoop与spark的配置及安装

分别安装hadoop和spark镜像

Hadoop镜像安装指南

所选用的docker镜像地址镜像，其内置的hadoop版本较为新颖，同时配置了jdk8环境，能够满足最新版spark安装的需求。

    docker pull uhopper/hadoop:2.8.1
    
    
      
    

Spark镜像安装指南

在对Spark版本要求不严格的情况下，可直接采用他人已构建的镜像；若需使用较新版本，则应针对Dockerfile进行相应的配置调整。

环境准备

获取sequenceiq/spark镜像并基于其源代码进行构建

    git clone https://github.com/sequenceiq/docker-spark

    
    
         

从Spark官方网站获取Spark 2.3.2版本的安装文件

 * 下载链接：<http://spark.apache.org/downloads.html>

将所下载的文件放置至docker-spark文件夹内