深度学习 | 使用模型技巧进行蒸馏知识
发布时间
阅读量：
阅读量
1.原理介绍
Hinton的文章《Distilling the Knowledge in a Neural Network》最先提出了一种称为知识蒸馏的概念。该文章通过教师网络被用来诱导学生网络进行训练，并在这一过程中实现了知识从教师向学生转移的过程。其实与之相似的是传统迁移学习的方法然而在实现路径上存在差异。将此过程比喻性地描述具有很强的画面感借助图表进一步阐述这一机制的工作原理。
教师端网络：大尺寸、参数量大的复杂网络架构难以部署于设备端。
学生端网络：小尺寸、参数量少的小型化设计能够实现轻量化部署，在实际应用场景中即为易于落地的小规模轻量化设计。
可以说教师网络本质上是一种混合体。其中复杂结构类似于杂质而非我们需要的部分而那些被网络学到的概率分布则是关键所在正是我们所需要的。如上图所示关于教师网络的知识提取流程可以说提取过程通过温度系数T进行模拟并从中筛选出概率分布的核心随后将其应用到精简模型中完成知识迁移这一流程可通过以下数学公式具体描述
还没有任何评论哟~