GPU虚拟化的池化

摘要

智能化应用如人脸识别、语音识别、文本识别等已广泛应用于多个领域，并带动了判定式AI技术的发展；这些技术可被归类为判定式AI的应用场景，并多与特定业务场景紧密相关；在实际应用中通常各自独立运行，在使用GPU（Graphics Processing Unit）时也常保持独立状态；当前最多可实现虚拟化切分功能；一张物理GPU能够分割出多张vGPU以供不同AI应用场景使用；随着大模型时代的到来 GPU算力需求显著提升 但现实条件下企业往往受限于有限的硬件资源导致难以支撑复杂业务需求 同时由于业务特性限制 即使实现了资源虚拟化 也无法充分释放 GPU算力或持续稳定利用 GPU资源 这就造成了现有资源利用率较低的问题

从GPU虚拟化需求到池化需求

智能化应用的增长正在显著提升对 GPU 计算资源的需求。尽管 NVIDIA 推出了包括 GPU 虚拟化与多卡切分等技术方案以供选择,但目前的技术仍无法实现自由配置虚拟 GPU 并实现企业级 GPU 资源的共享复用。像 TensorFlow 和 Pytorch 这样的智能计算框架通常会独自占用一整块显卡的计算资源（AntMan 框架则是专为共享显卡设计的）,导致显卡资源紧张。另一方面,在实际应用场景中很多程序仅占用显卡一小部分计算能力,特别是在无业务请求状态下利用率甚至可达零百分比。单一推理场景若独自占用一块显卡则会导致明显