基于Spark ALS在线推荐系统的Python版本
发布时间
阅读量:
阅读量
所用技术概述
Bootstrap、flat-ui、Servlet、Spark1.4.1、Hadoop2.6.0、JDK
说明:本系统未包含与ssh相关的技术内容,仅采用基础的Servlet以及JSP和HTML页面进行构建,整体系统结构较为简洁。
系统部署:
-
将spark-assembly-1.4.1-hadoop2.6.0.jar文件复制至WebContent/WEB-INF/lib目录;(该jar文件是通过从原始的spark-assembly-1.4.1-hadoop2.6.0.jar中移除javax/servlet包后生成的,由于文件体积较大,因此未进行上传);
-
将原始版本的spark-assembly-1.4.1-hadoop2.6.0.jar文件传输至HDFS(路径需与代码中设定的路径一致);
-
将位于WebContent/WEB-INF/lib目录下的Spark141-als.jar文件复制至HDFS(路径应与代码中指定的路径保持一致);
-
将所使用Hadoop集群的配置文件yarn-site.xml复制至HDFS(路径需与代码中的设定相匹配);
-
对相关配置文件进行调整,鉴于涉及Hadoop的相关设置以及系统部分属性需要根据实际情况进行修改,因此需对这些内容进行相应调整(后续版本将单独提供一个配置
全部评论 (0)
还没有任何评论哟~
