AI推理模块用于执行复杂问题分析

AI推理单元
该服务提供了专为MLU设备设计的一套类似于服务器级的推理接口（基于C++11标准），并集成了一整套模型加载与管理功能以及任务调度机制。这些设计大幅简化了针对MLU平台高性能深度学习应用的开发与部署流程。
概述
本节概述了推理服务在软件栈中的角色与架构安排，并通过下图展示了其在整个系统中的具体位置关系。

推理服务共包含以下3个模块的用户接口:
• Model: 模型加载与管理
• Processor: 可自定义的后端处理单元
• InferServer: 执行推理任务
基本概念
本文描述推理服务中所涉及的具体概念。
InferServer
其整体架构如下图所示

推理服务架构
InferServer 是推理服务暴露给用户的功能入口，用户通过此入口进行加载或卸载模型（Model）、创建推理节点（Sessio