Advertisement

TensorRT性能优化调试工具

阅读量:

engine生成的调试阶段,tensorRT配套提供了若干实用工具,例如PolygraphyONNX GraphSurgeon以及PyTorch-Quantization。这些辅助工具具有较高的应用价值,建议投入更多时间进行深入探索。

Debug方法示例

polygraphy

Polygraphy作为TensorRT官方推出的一组实用工具集合,具备极为出色的调试功能,是进行深度学习模型分析的重要辅助手段。

在这里插入图片描述

通过Polygraphy工具能够对ONNX或TRT的网络架构进行验证,支持对engine进行调试,并可用于对比分析ONNX与TRT模型的输出结果差异。

例如,借助Polygraphy工具可实现对ONNX与TRT模型输出结果差异的检测

复制代码
    # 使用默认参数
    polygraphy run polygraphy_debug.engine --trt
    
    # 加载onnx推理得到的结果,并设置绝对误差
    polygraphy run polygraphy_debug.engine --tr

全部评论 (0)

还没有任何评论哟~