焦点与全局知识蒸馏——目标检测网络的知识蒸馏

论文获取地址：https://arxiv.org/abs/2111.11837

项目代码仓库链接：https://github.com/yzd-v/FGD

方法

FGKD（Focal and Global Knowledge Distillation） 通过融合Focal distillation与Global distillation两种机制，同时考虑了实例级别的信息、空间与通道注意力机制以及整体的相关性特征。

首先明确前背景分离的Mask以及Attention等要素，随后依据Feature map进行Focal distillation的计算（该过程包含Feature loss与Attention loss两个组成部分），具体实现方式如下：

• 引入二值化mask用于区分前景与背景，其中r代表gt-box所覆盖的区域：

通过引