分析 spark 的参数设置问题

如何传递spark 参数

• • 在程序中配置相关参数
    • 命令行界面
    • Spark 属性配置
    • 参数的动态加载机制

官方网址：spark 参数

在代码中设置参数

在Spark的参数设置优先级中，配置文件spark-default.conf的优先级低于命令行参数，而命令行参数又低于代码内部的参数设置。对于一些经常使用的通用参数，建议将其配置在spark-default.conf文件中；而对于具有个性化需求的参数，则更适合通过命令行方式进行传递。

命令行

在命令行中传递参数时，存在一些便捷的简写方式，例如 --driver-memory 这类参数，实际上这种简化形式仅针对使用频率较高的参数进行优化。除此之外，还存在一种更为基础的参数传递方式，即通过 --conf k=v 的形式实现。

Spark Properties

Spark Properties 用于管理绝大多数应用程序的配置参数，且允许针对每个应用程序进行独立设置。相关支持的参数信息可于本文顶部提供的链接处获取。

    val conf = new SparkConf()
             .se