硬软方案专注领域灵活深度学习
发布时间
阅读量:
阅读量
硬件与软件蓝图相结合的深度学习专业化设计
一种抽象化的深度学习(DL)加速架构,针对特定的一组框架、模型结构、运算符以及数据类型,提供了高性能的实现方式,但同时在灵活性方面有所妥协。算法、模型、运算符或数值系统的任何变动都可能对专用硬件加速器的可行性构成威胁。为此,提出了一种名为VTA的可编程深度学习架构模板,能够在不断变化的工作负载下进行扩展。VTA通过参数化体系结构、两级指令集架构(ISA)以及即时编译器(JIT)来实现这一目标。其中,两级ISA基于以下两个方面:
(1)任务级ISA用于显式地调度并发计算和内存操作;
(2)微代码级ISA用于执行单循环张量运算。
随后,设计了一个系统并配备JIT编译器,以实现灵活的代码生成和异构执行方式,从而有效利用VTA架构的优势。VTA被集成并开源至Apache TVM中,这是一种先进的深度学习编译堆栈,能够为各种应用场景提供灵活的模型支持及多样化的硬件后端适配能力。此外,还提出了一种流程执行设计空间探索方法,以生成定制化的硬件架构及主流学习框架中的软件运算符库。
通过将优化后的深度学习模型部署到边缘级FPGA上,并应用于对象分类任务中的样式转换处理过程加以验证。
1.引言
针对特定应用程序和工作负载进行硬件专门化是提升性能的一种常见手段。然而,在深度学习领域中,并非仅限于静态的应用场景;机器学习社区本身也
全部评论 (0)
还没有任何评论哟~
