部署Spark任务于阿里云Serverless K8S集群并实现与OSS的连接

在阿里云ASK集群上部署Spark任务并连接OSS

简介

ASQ是一个重要的产品线，在阿里云生态中扮演着关键角色。它结合了Serverless Kubernetes的技术优势，在本次实验中将成为主要的研究平台之一。通过使用阿里的分布式计算框架——Spark，在ASK集群上开展大规模数据处理任务（如WordCount算法）的实践工作至关重要。同时为了实现计算资源与存储资源的分离管理目标，我们选择了阿里云OSS作为数据存储解决方案。在实际操作过程中发现，在本地环境下运行正常的代码在分布式系统中往往容易出现各种不可预见的问题导致部署过程充满挑战最终通过不断调试终于完成了稳定可靠的部署并整理出一套完整的经验记录

环境准备

本机需要安装：
JAVA jdk1.8
IDEA
Maven
Docker（安装在Linux或者Windows）

在阿里云上提供的各项服务中包括：</https://www.aliyun.com/product/cs/ask?spm=5176.166170.J_8058803260.27.586451643ru45z>中的ASK集群功能；https://www.aliyun.com/product/oss?spm=5176.166170.J_8058803260.32.58645164XpoJle中的OSS对象存储功能；