TensorRT-8量化分析涉及深度学习模型的优化与性能提升

TensorRT-8量化分析
本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。
01
0x01 TensorRT量化
都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量化框架已经不少，开源的也有很多，无论是pytorch、TVM还是TensorRT，基于这些框架的GPU和CPU量化已经应用了不少，也看了看最近商汤新开源的量化框架ppq，同样也挺成熟了，最起码用起来是的的确确可以实际部署，为带来性能的提升。
上一篇主要是理论细节比较多，那么这一篇主要说说实际的量化流程。要实际用起来、跑起来才有意义。因为有一段时间在用TensorRT，所以就说说TensorRT的量化细节和实际量化流程吧！
TensorRT的量化工具也比较成熟了。支持PTQ和QAT量化，官方也提供了一些工具[2]去帮助实现量化（无论是基于trt本身还是基于周边工具）。
当然除了TensorRT也用过一些其他的量化框架，也写过一些代码。其实大部分量化方式基