设置 spark 6日志配置

spark yarn日志全解

• • 一.前言

    • 二.日志聚合功能的启动方式

    • • 2.1 启动MapReduce历史服务器以实现日志聚合
      • 2.2 Spark历史服务器的日志聚合开启方法

    • 三.未启用日志聚合的情况说明

    • 四.log4j.properties文件的规范配置与应用

一.前言

本内容仅针对yarn模式中的日志配置进行说明。

二.开启日志聚合是什么样的

在YARN模式运行环境下，Executor进程与ApplicationMaster进程均部署于Containers容器之中。YARN针对Container日志（即Spark日志）的处理方式有两种，分别为启用日志聚合功能与不启用日志聚合功能。

1. MapReduce history server：
   作为Hadoop YARN的日志聚合服务，该服务会将已完成任务的日志文件存储至HDFS系统中，待复制操作完成后，各节点本地的日志文件将会被清除。此外，HDFS上所保存的所有日志内容均可设定保留期限，以防止磁盘空间被过度占用。该服务通常使用19888端口进行访问。

2. Spark history server：
   这是Spark的UI界面服务，默认情况下仅在Spark任务运行期间能够访问UI页面。