Advertisement

Hadoop的分布式集群安装过程

阅读量:

因为机器学习,接触到了数据挖掘;因为数据挖掘,接触到了大数据;因为大数据,接触到了hadoop。之前有过hadoop的简单了解,但都是基于别人提供的hadoop来学习和使用,虽然也很好用 ,终究不如自己的使用起来方便 。经过这两天参考大量网上的经验,终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来,相信安装这个思路去做,hadoop安装就不再是一件困难的事。
我自己是搭建的完全分布式的hadoop,就涉及到了创建若干个虚拟机并使它们能够互通。所以我整个hadoop安装能够分为三个独立的部分:1、linux 虚拟机详细搭建过程;2、hadoop完全分布式集群安装;3、hadoop 自带示例wordcount 的具体运行步骤。本文介绍第二部分。

1. Hadoop 介绍

Hadoop是由Apache官方机构推出的开源分布式计算平台,并采用开放源代码模式发布给全球开发者使用。该平台以高效的分布式文件系统(HDFS)和强大的 MapReduce 中心技术为核心功能模块。
在 Hadoop 系统中,
分为两种主要角色:NameNode 作为集群管理器,
而从节点Slave 则负责存储数据。
当一个作业被提交后,
会通过 JobTracker 接受并分配作业任务,
这些任务会被分散到各个从节点上进行处理。

全部评论 (0)

还没有任何评论哟~