Advertisement

开发神经网络模型利用MapReduce框架进行分布式计算(上)。

阅读量:

前言

近期查阅了一些有关利用MapReduce框架进行神经网络并行训练的相关文献,导师建议我亲自尝试实现,以便更深入地理解其内在机制。

MapReduce作为一种基于Java语言的编程框架,最初考虑使用Java来编写深度学习相关的代码。然而,dl4j这一工具在使用过程中存在较大难度,同时网络上绝大多数关于深度学习的教程均以Python为基础,因此最终选择采用Python语言来完成基于MapReduce框架的神经网络实现。若该方案无法顺利推进,后续再考虑转为Java进行开发。

目前大致的学习流程如下:
1、在Ubuntu系统中安装Python3
参考链接:ubuntu下安装python3
2、使用Python编写最基础的MapReduce示例程序,例如Wordcount
参考链接1:用Python模拟MapReduce分布式计算
参考链接2:用python写MapReduce函数——以WordCount为例
3、在Hadoop平台上运行Python程序
参考链接1:在Hadoop上运行Python脚本
[参考链接2:Writing An Hadoop MapReduce Program In Pyt

全部评论 (0)

还没有任何评论哟~