FGD: Focal and Global Knowledge Distillation (CVPR 2022)

1. Motivation

作者指出，在目标检测任务中，tea与stu模型在特征层面的差异性在不同区域，如前后景之间，表现得较为明显。

• 在本文中，我们强调，在目标检测过程中，教师模型与学生模型的特征在多个区域存在显著差异，尤其是在前景与背景部分。

若采用相同的蒸馏方式，则特征图中不均衡的差异性将对蒸馏效果产生不利影响。

• 当采用统一方式进行知识蒸馏时，特征图之间存在的不均匀差异将对蒸馏过程产生负面影响。

因此，本文提出了一种名为FGD的方法，该方法由focal distillation和global distillation两个部分组成。

• 鉴于此，我们设计了聚焦蒸馏与全局蒸馏（FGD）两种策略。
• 聚焦蒸馏通过区分前景与背景区域，促使学生模型更加关注教师模型中的关键像素与通道信息。
• 全局蒸馏则重新构建不同像素之间的关联关系，并将其从教师模型传递至学生模型，从而弥补聚焦蒸馏在全局信息获取方面的不足。

根据图1所示结果可知，学生网络对前景区域所生成的注意力图具有更强的响应强度。这一现象表明，在知识蒸馏过程中也存在前后景