大数据技术生态 读起来轻松

大数据本身是一个广泛且抽象的概念，在Hadoop生态系统（或泛数据生态）中主要是为了突破单台服务器处理能力的数据量而发展起来的。类似于厨房中所需要的各类厨具，在数据处理领域也需要各种各样的工具来满足需求。这些厨具类别各有不同的功能用途，并且这些工具之间也有相互关联的功能——使用大锅也可以单独当作碗来盛放食物并进行烹饪；可以用小刀或刨子来进行去皮操作；但每个工具有其独特的功能特点——虽然不合理的搭配可能会降低效率或效果；但整体而言这种组合依然是可行的选择

对于存储海量数据而言，在开始任何大数据项目之前，请确保有足够的存储容量来支持这一需求。 传统的文件系统架构仅限于单个节点或服务器。HDFS（Hadoop分布式文件系统）的设计目标是通过分布式计算框架实现海量数据在成百上千台服务器之间的高效分布与管理。尽管表面上看像是一个统一的文件系统界面，在实际操作中它通过将数据分散到多个节点上实现了高效的并行读写能力。

一旦存储的数据量达到一定程度之后，你就开始规划如何高效地进行数据处理工作。

那么Map和Reduce分别是什么意思？为了实现对一个规模巨大的文本文件（类似于HDFS存储架构）中的词汇频率进行统计，请问您是否计划启动一个用于处理大规模数据流的MapReduce程序？

• Mapping阶段中并行运行多台服务器的同时读取文件各个片段，并对每一份片段进行词频统计生成类似于