Hive>本地模式

本地模式

多数Hadoop作业依赖于完整的可扩展性来管理和处理大规模的数据集。然而，在某些情况下,Hive输入的数据量非常有限.在这种情况下,当查询触发任务执行时,所耗的时间可能比整个作业的实际执行时间还要长得多.对于绝大多数类似的情况,Hive可以通过本地模式在一个机器上完成所有任务.而对于较小的数据集,采用本地模式执行的时间将显著缩短.
用户可以通过将hive.exec.mode.local.auto字段设置为true来进行这一优化操作.

    set hive.exec.mode.local.auto=true;  //开启本地mr

//配置local mr的最大处理数据容量，在输入数据量低于设定值时切换至local mr机制，默认设置为134,217,728字节。

    set hive.exec.mode.local.auto.inputbytes.max=51234560;

//配置local MR的最大输入文件数量，并在输入文件数量低于该设定时切换至local MR处理模式，默认值设定为4

    set hive.exec.mode.local.auto.input.files.max=10;

案例实操：

    1）开启本地模式，并执行查询语句
    hive (defa