Advertisement

HBase MapReduce集成

阅读量:

文章结构概览

    • 需求一:将myuser表中的数据内容导入至HBase的另一张表中
      • 需求二:从HDFS文件系统中提取数据,并将其存入HBase的对应表中
      • 需求三:执行作业任务,从HBase表中获取数据,并将这些信息传输至HDFS平台
      • 需求四:利用bulkload方式实现对HBase的数据批量导入操作

HBase内部的数据存储依赖于HDFS系统,由于HBase本身具备对MapReduce操作的支持能力,因此可以通过MapReduce直接处理其内部存储的数据,并且处理后的结果可以直接保存回HBase之中

需求:从HBase的一张表中提取数据,并将这些信息写入到同一数据库内的另一张表中。需要注意的是,可以借助TableMapper和TableReducer这两个组件来完成对HBase数据的读取与写入过程

在此过程中,我们将myuser表中f1列族下的name和age两个字段的内容迁移至myuser2表的f1列族之中去

http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0/book.html#mapreduce

需求一:读取myuser这张表当中的数据写入到HBase的另外一张表当中去

  • 第一步:构建名为myuser2的表结构

全部评论 (0)

还没有任何评论哟~