应用量化知识蒸馏技术（基于Quantization Mimic）

该文通过整合知识蒸馏与量化技术等手段开发出一套极简化的卷积神经网络架构

Quantization Mimic的具体架构示意图见图X。其整体架构包括以下几大模块：首先，在诱导训练阶段中初始化并训练一个性能优异的全精度 teacher 网络（例如 R-FCN-VGG）；随后对该 teacher 网络执行量化操作，并获取相应 quantized 特征图输出结果；接着构建一个结构精简的学生 network 模型（例如 R-FCN-VGG-1×32），并对之进行量化的处理；最后，在知识蒸馏过程中对比 teacher 和 student 网络在 quantized 输出层的表现差异，并通过最小化 L2 损失函数来实现知识转移。

本研究中所采用的量化技术采用了线性均匀量化策略。其根本原因在于所述研究工作主要基于R-FCN与Faster-RCNN两种主流目标检测框架展开研究工作，在这类深度学习模型中 ROI 区域内的激活特性往往表现出较强的敏感度特征，在这种情况下选用线性均匀化的权重压缩方法能够在一定程度上能较好地保持输出特征的信息完整性。相比之下 INQ 所采用的非均匀化权重压缩策略更适合于描述各类神