Advertisement

MapReduce合并

阅读量:

MapReduce算法的核心思想在于:Map操作接收单条数据,并清空并初始化键值对;而Reduce操作则处理来自Map输出的所有键值对,并汇总所有对应的值。

在两天里完成mapreduce工作时,突然产生了一种疑问:对于每条单独的记录,是否存在将其扩展为多行记录的可能性,这些多行记录中包括分配到不同的key和value中?这种处理方式在实际应用中是否具有优势呢?

假设有一份数据集:其中第一列用于标识用户信息,第二列为书籍的相关信息

1,A
1,B
1,C
2,A

全部评论 (0)

还没有任何评论哟~