知识蒸馏Human pose estimation Fast 2019

当前的人体姿态估计技术，在追求较高的性能水平时，则需要具备堆叠结构的特点。这些方法都具有类似的架构特征，并非特例。然而，在实际应用过程中会遇到一个共同的问题：计算效率一直是制约该领域发展的关键问题之一。为此，我们提出了一种创新性的人体姿态估计优化方法——快速姿态蒸馏(FPD)模型学习策略。具体而言，在研究过程中我们发现：FPD是一种能够实现高效轻量型人体姿态识别的技术方案；这种技术方案能够在计算资源有限的情况下仍能保持较高的识别速度；其核心机制在于有效提取和利用教师模型的知识来进行学生模型的训练；最终通过这一系列创新性的设计与实现手段，在提升用户体验的同时也实现了对现有技术的有效突破；实验结果表明，在现有技术中该方法展现出显著的竞争优势

本文着重关注的是在模型部署过程中所涉及的推理成本问题。具体方案是先设计并构建一个轻量级的网络结构。随后采用快速姿态蒸馏（FPD）技术作为训练方法，并将潜在的知识从预先训练好的较大教师模型转移到构建完成的轻量级网络中。这种转移过程旨在实现效率与精度之间的权衡。然而，在现有知识蒸馏方法中大多基于类别层次的判别策略，而我们则采用了基于关键点热度图的关键点检测策略。这种方式使得蒸馏学习的过程更加高效，因为特征约束变得更加严格。如图所示，在整个网络架构中包括三个主要组件：(a) 轻量级主干模块；(b) 小目标网络优化模块；(c) 检测阶段的关键点预测模块。