基于HiBench框架的Hadoop集群性能评估演示

HiBench

一、简介

HiBench 是一个专门针对Hadoop、Spark及流水作业任务设计的大数据分析基准测试平台。该基准测试套件旨在评估不同大数据框架在处理速度、吞吐量以及系统资源利用率方面的性能表现。它包含一系列典型的工作负载测试用例，在以下方面进行了详细设计：首先是基础数据处理作业如排序（Sort）、单词计数（WordCount）以及大规模排序（TeraSort）；其次是数据分布与重排（Repartition）、程序暂停（Sleep）、关系型数据库查询（SQL）、PageRank算法实现以及增强型目录索引（Nutch indexing）；最后还包括高级分析功能如贝叶斯分类（Bayes）、K均值聚类（Kmeans）、加权平均计算（NWeight）以及增强型深度搜索IO操作（DFSIO）。此外该基准还涵盖了基于Spark Streaming的流处理作业如Flink实时数据分析系统 Storm分布式计算框架以及Gearpump高可用性流处理引擎的性能评估

工作负载类别：微小类, 机器学习相关, 结构化查询语言, 图数据库, 网络搜索和流媒体

支持的框架：Hadoop、Spark、Flink、Storm、Gearpum

二、检查环境

我的集群（ubuntu16）上已经安装了Hadoop所以本文只测试hadoopbench。

确认环境是否已正