ECCV2018–PKT_概率知识蒸馏
发布时间
阅读量：
阅读量
ECCV2018 | Learning Deep Representations with Probabilistic Knowledge Transfer
https://github.com/passalis/probabilistic_kt
1.传统知识蒸馏
最早的知识蒸馏方法主要针对分类任务进行了开发, 无法有效地应用于其他特征学习的任务. 在本文中, 作者提出了一种通过匹配数据在特征空间中的概率分布进行知识蒸馏的方法 (记为 PKL). 此外, 该方法不仅在性能上超越现有的蒸馏技术, 还克服了现有技术的一些局限性: 首先, 它能够实现不同架构与维度层之间知识的有效转移; 其次, PKL算法能够将教师模型的特征空间结构映射到学生模型的特征空间中, 进而显著提高学生模型的准确性; 最后, 传统的蒸馏技术往往未能考虑教师特征空间的几何形状, 因此无法充分利用教师网络输出结果所包含的知识信息. PKL算法的工作原理如图所示. 相比于现有蒸馏方法, PKT技术通过匹配数据在特征空间中的概率分布实现了知识蒸馏.
还没有任何评论哟~