Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning notes

0 摘要

深度卷积神经网络已逐渐成为推动图像识别领域性能提升的关键技术。基于Inception架构的设计方案在保持较低计算开销的同时展现出了优异的性能水平。通过引入残差连接机制的传统架构体系——如ResNet——在2015年的ILSVRC比赛中实现了最佳成绩。那么，在结合Inception结构与残差连接后能否获得更好的效果？实验结果表明：
1、具有残差连接设计的模型在训练速度上较传统Inception架构有了显著提升。
2、采用残差Inception网络构建的系统相较于传统Inception架构在测试精度上表现出更为突出的优势。

1 介绍

本文深入探讨了将残差连接与Inception结构相结合的技术方案。研究表明，在训练深度网络时，残差连接的重要性已得到ResNet的支持。然而，在这种情况下... 与此同时... 研究人员提出了一个新的架构方案称为Inception-v4... 在选择这些模型时需要考虑以下限制条件：即与非残差模型相比... 最新实验结果显示... 其性能表现优于现有单个框架模型的最好水平。

2 相关工作

卷积网络已被广泛应用于大规模图像识别任务中。主流模型包括Network-in-network、VGGNet以及GoogleLeNet（即Inception 1.0）。最初提出残差连接的技术是在ResNet架构中实现的，并强调额外引入了残