spark应用加载本地配置文件设置及解析流程
发布时间
阅读量：
阅读量
当在Spark集群中提交应用程序时，若需读取位于驱动节点本地的配置文件，例如：
...
spark-submit \
-class ...
-jars ...
-jar ...
file:///yourLocalFilePath/conf.properties
在对这一配置文件进行解析的过程中，常规做法是将其转换为HashMap结构，从而借助键值对的模式实现对配置参数的高效获取。具体实施方式如下：
package com.gendlee1991.utils
import java.io.{FileInputStream, FileNotFoundException, InputStreamReader}
import java.util.Properties
import org.apache.commons.logging.LogFactory
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FSDataInp全部评论 (0)
还没有任何评论哟~