神经网络并行训练 mrjob 的多种应用方式

神经网络并行训练（上）

神经网络并行训练（上）

通过过去一周的努力探索发现了一个非常有用的工具-MrJob。网络上的教程大多都基于经典的MapReduce模式来实现WordCount任务，并且具体参考了[【神经网络并行训练（上）

思考一：mrjob任务接受的参数只能是一个文件吗？

答：回答是：No,mrjob任务确实支持接收单个或多个文档，并且还可以包含一个文件夹。在执行相应的命令后,附加到命令中的n个文档将被依次处理。此外还可以包含一个文件夹,其内部的所有文档也会被自动识别并处理。example.通过构建一个小规模的测试案例,我们可以直观地演示mrjob如何高效地管理多份文档及其关联操作.代码实现如下:

    #!/usr/bin/python
    # -*- coding: utf-8 -*-
    from mrjob.job import MRJob
    
    class MRWordCount(MRJob):
    def mapper(self, key, line):
        for word in line.split():
            yield(word, 1)
    
    def reducer(self, word, counts):
        yield(word, su