NVIDIA TensorRT: programmable inference acceleration engine

NVIDIA TensorRT：可编程推理加速器

一．概述

NVIDIA TensorRT™是一款面向高性能深度学习推理的软件开发工具包。其包含一个深度学习推理优化工具及运行时环境，旨在为相关应用提供低延迟与高吞吐量的处理能力。

在进行推理操作时，基于TensorRT构建的应用程序相较仅依赖CPU的系统，其执行效率可提升40倍。借助TensorRT，用户能够对在各类主流框架中训练完成的神经网络模型进行优化处理，实现从高精度向较低精度的精确校准，并最终将其部署至大规模数据中心、嵌入式系统以及汽车相关产品平台。

TensorRT依托于NVIDIA所开发的并行计算模型CUDA，从而支持开发者使用CUDA-X中的各类库、开发工具和相关技术，以提升人工智能、自动化机械、高性能计算以及图形处理等领域的深度学习框架推理性能。TensorRT为诸如视频流分析、语音识别、推荐系统和自然语言处理等应用场景下的深度学习推理应用提供了INT8与FP16级别的优化方案。通过降低计算精度来减少推理过程中的资源消耗，有效降低了应用程序响应时间，这正是诸多实时服务及自动化与嵌入式系统所必需的关键特性。

各个主流深度学习框架中训练完成的模型均可被导入至TensorRT中。在完成相应的优化操作后，TensorRT将依据具体平台特性选择合适的内核，在包括数据中心使用的Tesla GPU、Jetson嵌入式平台