ICLR 2017 - 注意力引导的知识蒸馏
发布时间
阅读量：
阅读量
ICLR2017 | Exploring Enhanced Focus Mechanisms in Attention Models
https://github.com/szagoruyko/attention-transfer
1.注意力机制
注意对于人类视觉体验而言至关重要，在图像分类任务中如图所示其表现尤为突出此处所指之注意力机制能够清晰地揭示出网络模型对输入数据的关注焦点这种特性不仅反映了其学习成果更为重要的是它为我们理解视觉信息处理过程提供了关键视角
2.获取激活注意力地图
通过利用激活注意力机制进行知识蒸馏的第一步就是要获取当前网络所对应的激活注意力分布图。针对神经网络中的某一层而言，在获得该层特征表示的同时需要结合其空间位置信息来生成相应的权重掩膜矩阵。随后作者将对当前层中所有通道的激活进行合理的组合，并最终形成一张可以表征当前层信息的激活注意力图谱
全部评论 (0)
还没有任何评论哟~