cuDNN

cuDNN简介
NVIDIA CUDA® 深度神经网络库（cuDNN）是一款专为深度神经网络设计的 GPU 加速原语库。该库针对多种标准操作提供了高度优化的实现方式，例如前向与反向卷积、池化、归一化以及激活层等。
全球众多深度学习研究者和框架开发者均依赖 cuDNN 以实现高效的 GPU 加速计算。借助这一工具，他们能够将更多精力集中于神经网络模型的训练与软件应用的开发，而无需耗费时间进行底层 GPU 性能调优。cuDNN 已被广泛应用于多个主流深度学习框架中，如 Caffe2、Chainer、Keras、MATLAB、MxNet、PyTorch 和 TensorFlow 等。此外，NVIDIA 还推出了集成 cuDNN 的优化深度学习框架容器，用户可通过访问 NVIDIA GPU CLOUD 获取更多信息并开始使用。

8x Tesla V100 配合 cuDNN 7.6 在 20.03 版本的 NGC 容器中与 8x Tesla A100 搭载 cuDNN 8.0 预览版在预发布 NGC 容器中的对比。MaskRCNN 使用 PyTorch 中 TF32 与 F