Multi-branch fusion: Knowledge distillation via on-the-fly native ensemble.

文章基于On-the-Fly Native Ensemble方法展开研究，在深层架构中构建多条独立路径，并将每个子网络均承担着学生角色；这些子网络能协同形成性能更优的教学者架构。进一步地，在线监督学习与知识蒸馏机制的有效结合下，在线训练出具备卓越收敛特性的优化器或集成型多支模组合成系统

基于ONE的知识蒸馏框架如上图所示，在该架构中，深层多分支网络共用相同的浅层结构，并通过Gate Module（由全连接层（FC）、批归一化层（BN）、ReLU激活函数及Softmax分类器构成）协调各分支间的融合系数参与了多分支输出的融合过程。该 Gate Module 的作用是将各分支特征按照预设权重进行加权求和以生成最终预测结果作为教师网络的预测结果：

用于训练教师网络的损失函数仅考虑真实标注对应的交叉熵损失（Cross-Entropy Loss）。然而，在训练每个分支网络时（这些分支充当学生角色），其损失函