深度学习中的ResNet研究与理解
发布时间
阅读量：
阅读量
1.Deeply-Supervised Nets
如图所示，网络结构具体呈现如下。在DSN架构中，于每个卷积层或全连接层之后，模型都会附加一个独立的全连接分支，该分支的输出结果将与实际标签进行比对，进而计算预测值与真实值之间的误差，并将由此产生的梯度反向传播至前序参数。
此外，在模型中间的旁路目标函数中需要引入权重衰减机制（旨在增强各层之间的协作能力，同时抑制其独立运作的能力。若不进行权重衰减，则每层会因与目标函数直接相连而具备单独完成任务的可能性），即在计算每个目标函数时需乘以相应的权重系数。距离最终目标函数越近的中间目标函数，其对应的权重值越高。
针对中间目标函数还设置了特定的阈值（用于允许中间目标函数存在一定程度的误差），只有当该目标函数的损失值超过设定阈值时，梯度才会被传递至相应层；若未超出阈值，则该层模型将继续按照正常流程进行运算。
残差网络行为类比浅层网络集成
还没有任何评论哟~