Dual Path Networks Dual Path Networks

《Dual Path Networks》

本文介绍了一种网络架构设计方法，在综合考虑ResNet与DenseNet优点的基础上提出了创新性解决方案：
ResNet方面：通过引入逐层拼接机制实现了特征信息的回收与共享；
在DenseNet的设计理念中融入了其特有的新特征学习能力，在此基础之上优化了网络结构；

从我的角度来看而言，在形式上一致性的数学表达式为ResNet和DenseNet建立了一个框架。

Github项目主页： https://github.com/cypw/DPNs

1. ResNet, DenseNet and Higher Order RNN

本文试图为ResNet 和 DenseNet找到一个形式统一的数学表达。

参考式（1）所示，在时间步t-1处的状态h^{t-1}与当前时刻t-1处的输入x^{t-1}之间存在关联关系。其中索引$k-1, k, k+1,…, t-2,t-1,t,t+1,…,n-2,n-1,n,n