基于自动量化算法的深度学习模型优化策略基于CUDA平台

在CUDA平台上实现深度学习模型量化的自动优化
深度学习技术已广泛应用于各类任务之中。尤其是在自动驾驶汽车的推理等需要实时响应的场景中，模型的推理速度成为关键因素。网络量化作为提升深度学习模型运行效率的重要手段，能够有效加速模型执行过程。在量化后的模型中，数据以及模型参数均采用如int8和float16等低精度的数据类型进行表示。这种方式不仅降低了数据传输带宽的需求，还减少了推理所需的时间、存储器占用及整体功耗。通过合理设计量化方案，可以在最大程度上抑制模型精度的损失。因此，量化后的模型尤其适用于研究人员与开发人员，使大规模模型能够在多种设备（例如GPU、CPU以及移动终端）上实现部署。
通常情况下，针对不同的计算任务，人们会手动编写微内核以优化量化算子，或者依赖诸如cuDNN和TensorRT等封闭源代码的专用解决方案来完成相关工作。然而，在系统集成过程中开发高性能微内核往往面临较大挑战，并且通常需要投入大量工程资源。此外，这些临时性微内核难以灵活适配不断涌现的新类型计算任务以及新型硬件设备的需求。

图1. 在TVM、TensorRT以及MXNet平台上各类模型