Decoupled Knowledge Distillation其目标和非目标分布进行分解

基于解耦分析的方法对传统知识蒸馏进行深入研究，并深入探讨其本质。并通过对蒸馏损失函数进行优化构建DKD损失函数。明显提升了任务相关知识迁移的效果：

Paper地址：https://arxiv.org/abs/2203.08679

GitHub链接：

有关知识蒸馏的详细讨论 ，可参考：

[知识蒸馏技术（Knowledge Distillation Technique）]( "知识蒸馏技术（Knowledge Distillation Technique）")

基于图中所展示的DKD方法中, 该系统通过分析网络的Classification Head预测概率分布, 并对该概率分布进行解耦处理, 区分其实为目标分布与非目标分布两种类型. 接着, 分别对这两种情况进行蒸馏损失计算, 其中Teacher端的预测输出同时作为这两者解耦过程的基础. 最后通过对所得结果进行加权汇