spark_context转化为java_spark_context
发布时间
阅读量:
阅读量
引言
自Spark2.0版本正式发布后,最初阶段官方所建议的代码实现方式为
final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");
final JavaSparkContext ctx = new JavaSparkContext(conf);
此种表现方式实现了转变,演变为另一种形态。
SparkSession spark = SparkSession
.builder()
.master("local")
.appName("---")
.getOrCreate();
此种表达方式虽然存在,但对Java开发人员而言却存在一定的困扰。
问题
在使用Java语言进行程序开发的过程中,特别是在涉及文本文件的textFile读取操作时,常常会出现类型不匹配的问题。这主要是由于通过上述代码创建的spark对象调用`sparkConte
全部评论 (0)
还没有任何评论哟~
