Advertisement

Hadoop MapReduce 作为一种分布式计算框架的核心技术

阅读量:

先来举个例子:
假设现在需要对某个院子内的车辆进行数量统计,具体到各个品牌分别有多少辆,你会采取怎样的方式去完成这项任务?
铁蛋表示这很简单,他打算从前往后逐一统计,虽然过程繁琐但最终能够完成。
然而,如果任务范围扩大到一个县城或一个区域,你又会如何应对?
这时铁蛋召集了他的几位朋友,如铁柱、二虎、波仔、妞妞和小花等,安排每个人负责一个院子的统计工作。待各自完成后再进行统一汇总。
这样是不是效率更高且操作更为简便?
铁蛋一边说着一边拍胸脯保证,他表示别说是一个县的规模,只要拥有的朋友足够多,任何任务都能轻松应对。
通过这个例子可以看出,我们实际上是将任务进行了分散处理,并在最后阶段进行了集中汇总。接下来我们将正式进入主题。

MapReduce框架解析

为何命名为MapReduce,而非诸如小XXOO、Apache SS等名称?
MapTask—并行处理,例如铁蛋的多位朋友同时外出进行车辆统计。
ReduceTask—汇总处理,即在完成个人统计后进行整体结果的整合,最终得出全面的数据结论。

在这里插入图片描述

1.1 图片水平来看----

全部评论 (0)

还没有任何评论哟~