Spark实践 Spark实践

通过运用Scala与Java两种编程语言，可以开发出适用于Spark平台的程序代码。

Spark编程

Scala实现与应用

sbt

首先需要完成sbt的安装步骤

    unzip  sbt-1.2.6.zip  -d /usr/local/ 
    
    
      
    

赋予相应权限

    sudo chown –R hadoop /usr/local/
    
    
      
    

将环境变量PATH进行更新操作，可通过执行vim ~/.bashrc命令实现。

随后运行sbt version命令以确认安装状态，该过程将自动获取相关依赖项，因此需保证网络连接处于正常状态。

编程

在系统路径/home/hadoop的位置建立一个名为sparkapp的目录，用作整个应用程序的主文件夹

    mkdir ./sparkapp
    mkdir –p ./sparkapp/src/main/scala
    
    
      
      
    

随后在s