Mxnet 18: 稠密连接网络 DenseNet

ResNet网络显著地影响了如何参数化深度网络功能的方法论。DenseNet（密集卷积网络）在一定程度上是对此的自然延伸,如图所示。

• ResNet是相加
• DenseNet是连结

x→[x,f_1(x),f_2([x,f_1(x)]),f_3([x,f_1(x),f_2([x,f_1(x)])]),…]

与ResNet不同的是，在DenseNet中模块B的输出不会与模块A进行加法操作，在通道维上直接进行连结。这样可以让模块A的输出能够直接传递给模块B后续的所有层。在这种设计下，模块A将直接连接到模块B之后的所有层。因为这种依赖关系图变得极为密集。

DenseNet的核心组件包括密集块（dense block）和过渡层（transition layer）。其中，密集块负责协调输入与输出之间的连接模式或关系；而过渡层则负责管理通道数量以防止过高。

1. 密集块(dense block)

DenseNet使用了ResNet改良版的“批量归一化、激活和卷积”结构.

    from d2l import mxnet as d2l