Integrate PyTorch and TVM

桥接PyTorch与TVM
人工智能在自然语言处理领域中展现出诸多引人注目的应用。诸如BERT或GPT-2等模型及其相关变体，能够捕捉大量文本数据中的信息。
这类模型归属于一种被称为Transformers的神经网络架构类别。HuggingFace transformers library是实现此类模型最广泛使用的工具之一。
相较于卷积模型或LSTM等已经高度优化的结构，Transformers在这一方面尚存在一定的不足。本文探讨了TVM如何在该领域发挥作用，并通过两个步骤展开分析：
• 首先，在TVM平台上完成BERT推理过程并进行调优。
• 其次，开展一些基础性的探索，以了解如何在PyTorch框架中结合TVM进行训练工作。鉴于研究的实验性质，更注重其可行性而非性能表现。
• 通过TVM对BERT推理进行优化
如何将BERT从Transformers库迁移至TVM？
值得庆幸的是，transformers库支持利用PyTorch JIT对模型进行追踪操作，直至构建出追踪后的模型版本。
在AMD Radeon VII设备上使用示例输入执行100次运行后，PyTorch追踪模型的耗时约为0.65-0.7秒，即每次运行耗时约6.5-7毫秒。接下来尝试是否能借助TVM提升速度。将该模型转换为适用于TVM的形式相对简单：

shape_list =