通过基础架构分析验证
发布时间
阅读量:
阅读量
【基础架构分析
Relay 与 TVM IR 构成了一套完整的优化流程,能够有效提升模型的各项性能指标,例如推理速度、内存消耗以及特定设备的能耗。该体系包含标准化的优化手段和面向机器学习的专用优化策略,如常量折叠、冗余代码移除、运算符布局调整、运算符合并、缓冲区处理以及循环结构转换等。每一个优化步骤均被设计为一种从 IR 到 IR 的转换机制,并且在遍历过程中或之前收集分析结果进行应用。
随着 TVM 的持续演进,对这些 pass 进行更系统化和高效管理的需求愈发迫切。此外,构建一个通用框架来统一管理 TVM 堆栈中各层级(如 Relay 和 tir)的 pass,为开发者快速实现原型和将新的 pass 集成到系统中提供了便利条件。
本节将介绍基础架构的设计理念,该设计理念借助产品编译器的能力来管理各类优化 pass,并支持深度学习框架中的构建层功能。
例如,在现有的产品编译器中,如 GCC 和 LLVM 等均采用 pass 管理器的方式对多个 pass 进行高效调度与执行。起初,在 pass 数量较少时管理相对简单;但随着编译器日趋成熟,其中包含的 pass 数量可能达到数百个之多。通常情况下,外部用户希望能够在不修改原有手动设置顺序的前提下灵活配置自定义的 pass 执行顺序。
现代深度学习框架(如 PyTorch 和 MXNet Gluon)分别通过 Se
全部评论 (0)
还没有任何评论哟~
