大数据杂谈篇：认识大数据生态（个人心得）

内容简介

• • 一、大数据的定义及其功能是什么？

    • 二、了解大数据生态系统架构

    • • • 1.Hadoop

    • 2.Spark

    • 3.Hive

    • 4.HBase

    • 5.Kafka

    • 6.Flume

    • 7.Zookeeper

    • 三、初步认识大数据生态环境

    • 四、归纳总结

一、什么是大数据？它可以做什么？

• 与大数据的接触已经持续了一段时间，从最初对这方面一无所知的新手，到现在也算是初步入门（虽然水平依然有限），在学习的过程中经历了诸多波折。其中一部分原因在于，相较于其他IT技术，国内关于大数据的学习资料相对较少；另外一方面，大数据所涵盖的知识点较为广泛且复杂，因此今天打算将自己所掌握的内容进行整理，仅作为个人经验的分享。如果其中有错误之处，还请大家不吝指正，共同交流学习！
  • 那么究竟什么是大数据呢？通过百度或谷歌搜索可以找到大量专业性的解释，但这些内容往往较为晦涩难懂，并且涉及许多专业术语。在我看来，如果暂时不考虑大数据所实现的功能（如预测、推荐等），仅仅从其本身出发来看待问题的话，其实它所做的最基础、最核心的事情无非是两件：对海量数据的存储与计算。存储和计算功能实际上每台计算机都具备，然而“知识点多”的大数据似乎与这些并无直接联系。关键