Advertisement

spark_context转化为java_spark_context

阅读量:

引言

自Spark2.0版本正式发布后,最初阶段官方所建议的代码实现方式为

复制代码
    final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");
    final JavaSparkContext ctx = new JavaSparkContext(conf);
    
      
      
    

此种表现方式实现了转变,演变为另一种形态。

复制代码
    SparkSession spark = SparkSession
                .builder()
                .master("local")
                .appName("---")
                .getOrCreate();
    
      
      
      
      
      
    

此种表达方式虽然存在,但对Java开发人员而言却存在一定的困扰。

问题

在使用Java语言进行程序开发的过程中,特别是在涉及文本文件的textFile读取操作时,常常会出现类型不匹配的问题。这主要是由于通过上述代码创建的spark对象调用`sparkConte

全部评论 (0)

还没有任何评论哟~