神经网络压缩采用深度压缩技术
发布时间
阅读量：
阅读量
本文介绍了一种名为“深度压缩”的方法，并源自2016年ICLR最佳论文《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding》（https://arxiv.org/abs/1510.00149）。
作者提出了一个基于AlexNet的简单压缩模型：https://github.com/songhan/Deep-Compression-AlexNet
但这个模型的实际应用价值并不大
Introduction
神经网络展现出强大的性能。然而，在移动设备等场景中受限于其巨大的存储和计算代价带来的显著技术挑战
解析
本研究旨在通过减少大型神经网络的存储与计算开销来优化资源利用效率，并在移动设备上实现高效的部署。
实现的过程主要有三步：
（1） 通过移除不重要的连接来对网络进行剪枝；
（2）对权重进行量化处理，并通过量化过程使得多个连接能够共享同一个权重值；同时仅需存储码本（即有效权值）以及对应的索引信息即可；
（3） 进行霍夫曼编码以利用有效权重的有偏分布；
具体如下图：
全部评论 (0)
还没有任何评论哟~