Eclipse使用Hadoop 2执行MR任务
发布时间
阅读量：
阅读量
Hadoop：版本为2.2，开发环境为Windows系统下的MyEclipse；
通过Eclipse平台调用Hadoop执行MR程序，本质上是将常规的Java程序提交至集群以运行MR任务。在Hadoop1版本中，用户仅需配置jt（JobTracker）与fs（NameNode）参数即可完成相关设置，通常配置方式如下：
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "192.168.128.138:9001");
conf.set("fs.default.name","192.168.128.138:9000");
上述代码在hadoop1环境中执行是可行的，能够通过java语言将任务提交至集群进行处理。然而，在hadoop2版本中，jt组件已被移除，取而代之的是yarn框架。面对这一变化，应当如何操作呢？一个较为直接的思路是，依然通过设定相应的配置参数进行尝试。
Configuration conf = new YarnConfiguration();
conf.set("fs.defaultFS", "hdfs://node31:9000");
全部评论 (0)
还没有任何评论哟~