运行Python中的Spark程序：Windows平台上的PySpark环境配置及基本操作步骤
发布时间
阅读量：
阅读量
PySpark环境配置和基本操作
- 获取依赖库
- 基础操作
- RDD
-
- 构建RDD
- 统计数量
- 收集数据
- 遍历处理
- 筛选操作
- 映射转换
- 归约计算
- 连接操作
下载依赖
首先应获取hadoop与spark的安装包，完成解压缩操作后，接着进行环境变量的配置。
hadoop清华源下载
spark清华源下载
HADOOP_HOME => /path/hadoop
SPARK_HOME => /path/spark
配置pyspark环境。
pip install pyspark
基本使用概述
在shell终端中执行pyspark命令后，将出现相应的反馈信息：
还没有任何评论哟~