Advertisement

MapReduce用于分布式矩阵乘法计算

阅读量:

矩阵乘法

在这里插入图片描述
在这里插入图片描述

第一种实现方式

两次MR处理流程

首次Map阶段:针对矩阵中的每个元素mij,生成键值对(j, (M, i, mij));同时,对于每个元素njk,生成对应的键值对(j, (N, k, njk))
首次Reduce阶段:依据键值对的键进行归并,生成新的键值对,其中键为(i, k),对应的值为mij与njk的乘积
二次Map阶段:不执行任何操作
二次Reduce阶段:针对每一个键(i, k),对其对应的值进行累加求和,最终得到键值对((i, k), sum),从而获得结果矩阵Dik中的对应元素值

复制代码
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache

全部评论 (0)

还没有任何评论哟~