动态多任务资源分配移动应用深度学习系统

相比于在云环境下运行的情况，在移动系统中往往受限于计算资源。然而众所周知的是，在这种情况下运行的深度学习模型通常需要消耗大量资源。为了使设备端上的深度学习任务成为可能，在实际操作中应用程序开发者常常采用一种方法：通过进行模型压缩以降低其对计算资源的消耗。尽管这一方法非常受欢迎，并且已经被广泛应用于开发最先进的移动深度学习系统；但这一技术存在一个关键问题：由于应用程序开发者自行开发应用，在确定模型压缩与准确率之间的权衡关系时就已经将其固定下来；而这种权衡关系在应用部署后仍然保持不变。

然而，在启动新应用、停止现有应用以及应用优先级发生变化等事件的影响下, 这些系统的可用运算时间是动态变化的. 因此, 在这种情况下(即可用运算时间不足以满足压缩模型所需计算能力), 同步运行的应用会相互争夺运算能力, 并导致流媒体处理帧率降低. 另一方面, 在存在多余的运算时间(即有额外运算能力)的情况下, 尽管压缩模型无法直接利用这些多余的空间来提升准确性表现.

本研究开发了新型框架 NestDNN，并将其应用于针对运行时资源的动态变化进行考量的技术创新中。该框架研发出一种基于资源感知的多重租赁设备端深度学习移动视觉系统。通过引入灵活分配策略取代固定策略，在NestDNN中实现了对深度学习模型资源配置能力的显著提升。在运行时管理方面，该系统根据模型需求动态优化资源配置策略以满足其对可用运行时资源的