spark进阶: Scala基础

spark进阶（三）：scala基础

spark本就是采用 Scala 语言开发的一款分布式计算框架。 spark 和 flink 之间的底层通讯都建立在高并发架构 akka 的基础之上。 然而 akka 则是采用 Scala 开发完成这一关键组件。 此外 scala 与 spark之间实现了无缝衔接 因此由此不难理解为何 scala 成为了开发 spark 应用的理想选择。 同时 大多数关于 spark 的教程都会基于 scala 这一编程语言来进行讲解 所以深入学习 scala 也是掌握 spark 技术的重要基础。

仅就Scala在Spark中的使用情况做记录报告，并无需深入探讨较为复杂的Scala操作细节；主要关注确保基础操作正常运行即可。

当处理规模较大的任务时

一、变量

Scala仅限于两种类型的变量：一种是关键字val声明的变量，在这种情况下必须在其定义时就被赋初值，并且其后不能再修改或赋予新的值；另一种是通过关键字var声明的可变型（mutable）类型，则允许被反复修改其值。值得注意的是这些通过关键字val定义的（即不可变）型别不仅可以在同一位置重复出现（即重复定义），而且每个实例都独立地具备初始值。

![image-20211005093523499](https://ad.itadn.com/c/weblog/blog-img/i