MapReduce用于分布式矩阵乘法计算
发布时间
阅读量:
阅读量
矩阵乘法


第一种实现方式
两次MR处理流程
首次Map阶段:针对矩阵中的每个元素mij,生成键值对(j, (M, i, mij));同时,对于每个元素njk,生成对应的键值对(j, (N, k, njk))
首次Reduce阶段:依据键值对的键进行归并,生成新的键值对,其中键为(i, k),对应的值为mij与njk的乘积
二次Map阶段:不执行任何操作
二次Reduce阶段:针对每一个键(i, k),对其对应的值进行累加求和,最终得到键值对((i, k), sum),从而获得结果矩阵Dik中的对应元素值
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache
全部评论 (0)
还没有任何评论哟~
