ADMM-based sparse training of deep models

基本原理概述

参考文献：https://arxiv.org/abs/1804.03294

项目代码库：https://github.com/microsoft/nni/blob/master/nni/algorithms/compression/pytorch/pruning/admm_pruner.py

组合优化问题研究

• 基础层面的最优化问题：

通过引入辅助变量与对偶变量，建立ADMM正则化约束条件：

交替方向优化求解方法

在Z与U保持固定的情况下，采用SGD算法进行优化计算，从而获得相应的解：

![