TensorRT性能优化调试工具
发布时间
阅读量:
阅读量
在engine生成的调试阶段,tensorRT配套提供了若干实用工具,例如Polygraphy、ONNX GraphSurgeon以及PyTorch-Quantization。这些辅助工具具有较高的应用价值,建议投入更多时间进行深入探索。
Debug方法示例
polygraphy
Polygraphy作为TensorRT官方推出的一组实用工具集合,具备极为出色的调试功能,是进行深度学习模型分析的重要辅助手段。

通过Polygraphy工具能够对ONNX或TRT的网络架构进行验证,支持对engine进行调试,并可用于对比分析ONNX与TRT模型的输出结果差异。
例如,借助Polygraphy工具可实现对ONNX与TRT模型输出结果差异的检测
# 使用默认参数
polygraphy run polygraphy_debug.engine --trt
# 加载onnx推理得到的结果,并设置绝对误差
polygraphy run polygraphy_debug.engine --tr
全部评论 (0)
还没有任何评论哟~
