用动态方式优化TVM

【基于动态执行机制拓展TVM
对TVM进行动态执行功能的扩展
主要内容
● 引入动态机制的动因
● 动态特性的表达方式
● 动态执行的具体实现
● 实验评估结果
动态神经网络特性
● 当前网络结构正日益展现出更强的动态特征
○ 动态输入参数：批量大小、图像尺寸、序列长度等
○ 控制流结构：递归、条件判断与循环（在Relay中实现）
○ 可变尺寸张量
■ 部分操作的输出形状依赖于输入数据：如arange、nms等操作
■ 控制流应用：例如在while循环中的张量拼接操作
● 核心难题在于如何同时表达并执行这些具有动态特性的网络结构。
fn network(input: Tensor) -> … { … }
%t1: Tensor
%t2 : Tensor
if (%cond) { … } else { … } : Tensor
%start,%stop, %step : i32
arange(%start, %stop, %step) : Tensor
动态神经网络特性
● 核心难题在于如何同时表达并执行这些具有动态特性的网络结构。
● 我们将在TVM框架的不同层级上应对这两个挑战，并分享初步取得的积极成果。

主要内容概述
● 引入动态机制的动因
● 动态特性的表达方式