Advertisement

spark集成 flume (在 spark 2.3.x 后不再支持 , 通过 flume → kafka → spark streaming 实现 )

阅读量:

版本说明

spark2.3.4

Scala 2.11.0版本特性

flume1.9.0

pom.xml

复制代码
     <properties>

    
     <maven.compiler.source>8</maven.compiler.source>
    
     <maven.compiler.target>8</maven.compiler.target>
    
     <spark.version>2.3.4</spark.version>
    
     <scala.version>2.11</scala.version>
    
     </properties>
    
  
    
     <dependencies>
    
     <!-- Spark Streaming-->
    
     <dependency>
    
         <groupId>org.apache.spark</groupId>
    
         <artifactId>spark-streaming_${scala.version}</artifactId>
    
         <version>${spark.version}</ve

全部评论 (0)

还没有任何评论哟~