使用TensorRT加速推理过程

借助TensorRT实现推理过程的集成应用

通过TensorRT平台开展推理性能的测试工作。

基于ResNet50模型对各GPU执行推理任务，并与其他模型进行性能对比分析，最终与不同服务器平台进行综合性能评估。

1. ResNet-50 推理测试
   性能指标：吞吐量与批处理尺寸的关系

在不同批处理尺寸（范围为1至32）条件下，于各GPU上运行已预训练的ResNet50模型，完成吞吐量的测试任务。

图1展示了吞吐量（单位为帧/秒）的具体测试结果。

测试结果显示，在GPU上的表现与潜伏期数据（以右侧纵轴表示）保持一致。

图1展示了Resnet_50在每个GPU上的推理过程，服务器配备6块GPU。

从上述曲线图可以看出，当批处理大小设定为1至8时，系统能够实现7毫秒的延迟。根据y轴显示的数据，在7毫秒的延迟范围内，当批处理大小为4时，每秒可处理670帧图像。

在实际测试过程中，我们注意到默认情况下推理操作是在设备0上执行的。这表明当前所采用的TensorRT™ 推理引擎无法与GPU之间的通信协同工作，从而无法充分调动服务器中