Advertisement

TensorRT 7.2.1 开发版 下

阅读量:

TensorRT 7.2.1 开发概要(下)

1.2. TensorRT 在整体流程中的定位

通常情况下,深度学习模型的开发与部署流程可分为三个主要阶段。

第一阶段为训练过程
第二阶段为构建部署方案
第三阶段为实际部署该方案

第一阶段:训练过程

在模型训练环节,数据科学家与开发人员首先需要明确所要解决的问题,并确定具体的输入、输出以及损失函数。同时,他们还需收集、整理、扩充甚至标注用于训练、测试及验证的数据集。随后,将设计网络结构并进行模型训练。在此过程中,需持续监控学习效果,以获取反馈信息并据此调整损失函数或补充训练数据。最终完成对模型性能的验证,并保存训练好的模型。通常情况下,该阶段的训练与验证工作会借助DGX-1™ 、Titan或特斯拉数据中心GPU完成。

TensorRT一般不会参与这一阶段的任何操作。

第二阶段:
构建部署方案

进入第二阶段后,研究人员将基于已训练完成的模型来创建并验证相应的部署方案。若将该步骤进一步细分,则可包括以下内容:

  1. 考虑神经网络在其所属系统中的运行方式,并设计和实现适合的解决方案。涉及神经网络的应用系统种类繁多,例如:

自动驾驶系统的汽车

公共场所或公司园区内的视频监控系统

用户设备上的语音交互接口

工业生产线中自动化的质量检测系统

提供商品推荐服务的在线零售平台

或是能够为用户提供

全部评论 (0)

还没有任何评论哟~