MapReduce合并
发布时间
阅读量:
阅读量
MapReduce算法的核心思想在于:Map操作接收单条数据,并清空并初始化键值对;而Reduce操作则处理来自Map输出的所有键值对,并汇总所有对应的值。
在两天里完成mapreduce工作时,突然产生了一种疑问:对于每条单独的记录,是否存在将其扩展为多行记录的可能性,这些多行记录中包括分配到不同的key和value中?这种处理方式在实际应用中是否具有优势呢?
假设有一份数据集:其中第一列用于标识用户信息,第二列为书籍的相关信息
1,A
1,B
1,C
2,A
全部评论 (0)
还没有任何评论哟~
