深入解析技术文档中的详细信息

大数据

客户端Client源码分析

客户端所提供的资源包括：jar包、split清单以及配置生成的xml文件

---

*waitForCompletion -- 提交

*submit

*submitJobInternal 执行五项操作

1. 对job的输入和输出目录进行检查

2. *计算文件分割的数量

3. 设置或准备job运行所需的环境

4. 将当前job对应的Jar包与配置信息复制至HDFS系统目录中的隐藏路径中

5. 将job提交至RS，并持续监控其运行状态

*writeSplits

**writeNewSplits

*input

inputFormat input = ReflectionUtils.newInstance(job.getInputFormatClass(), conf);

*getInputFormatClass() 查阅父类方法定义

*conf.getClass(INPUT_ FORMAT_CLASS_ATTR, TextInputFormat.class)

INPUT_ FORMAT_CLASS_ATTR 在配置文件中查找对应设置，若用户已指定则采用用户配置，否则使用默认的文本输入格式化类

*getSplits 查看父类方法 **FileIn