TensorRT: 核心原理与硬件/软件配置准备

在尝试了许多基于C++的部署方案后发现并不可行后

1.什么是TensorRT

感觉上，TensorRT与TensorFlow、PyTorch以及Caffe等深度学习框架在外观上相似性显著；然而，在本质上它们之间存在显著差异。我们常用的深度学习模型更多地侧重于模型设计与训练过程；而TensorRT则专注于高效快速地完成推理任务，在这个过程中它主要关注的是如何优化并加速已有的预训练模型的推理速度。

官网地址：
https://developer.nvidia.com/tensorrt

参看官方的图：

注意： TensorRT是由NVIDIA推出的，并且专为自家使用的GPU设计的硬件加速平台，在这种特定用途下不支持在CPU或其他类型 GPU 上运行。

2.TensorRT为什么能让模型加速？

通过TenorRT对模型进行推理部署相比其原生框架运行更快请问这是如何提升的

• 移除未被使用的输出层
• 删除那些实际上无用的操作
• 将卷积操作与ReLU操作结合，并包含偏置参数
• 合并那些具有相似特性的操作
• 引入了残差结构