构建深度学习网络以节省GPU显存的方法

前言

在构建网络结构的过程中，注意到ReLU函数存在多种应用方式，尽管这些不同实现方式并不会影响可训练参数的总数，但其对计算资源的占用情况存在差异。各种方法各有优劣，以下将进行具体阐述。

建议结合本文与另一篇文献进行对照阅读，本文内容是在该文献基础上进行调整与优化的。

pytorch从零实现resnet_两只蜡笔的小新的博客-博客_pytorch使用resnet

若当前缺乏性能良好的GPU服务器，可参考如下链接获取相关资源：

注册 - 极链AI云平台

一、残差块的不同实现

【版本1】

 def BasicBlock(in_ch,out_ch,stride):

    
     return nn.Sequential(
    
         nn.Conv2d(in_ch, out_ch, 3, stride, padding=1, bias=False),
    
         nn.BatchNorm2d(ou