Spark环境中设置 spark环境搭建

文章目录

• Spark环境搭建方案

  • 1、本地模式下的Spark初探

    • 2、独立集群配置方案
    • 3、HA高可用独立集群配置方案
    • 4、基于Yarn的集群运行方案
    • 集群配置方案汇总
      • 客户端操作指南[参考]
      • 两种配置方式对比分析

  • Spark参数详解

  • • • spark-shell
      • spark-submit
      • 参数总结

Spark环境搭建

我们选择目前企业中使用最多的稳定版Spark2.2.0

1、local本地模式-Spark初体验

• 安装
  下载Spark安装包
  下载地址：http://spark.apache.org/downloads.html

第一步：将此安装包上传到集群（rz上传并解压）

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/szm3YrW8S7JHxQ