BinaryConnect: 训练带有二进制权重的深度神经网络在传播期间 论文笔记

0 摘要

各种领域中的深度神经网络均取得了显著的技术突破。基于GPU的强大运算能力，在推动深度学习的发展方面发挥了重要作用。未来，在提升训练与测试效率的同时，在低功耗设备上实现消费级的应用潜力将成为关键因素。这一领域的研究正掀起新的浪潮。二值化权重的方法通过使用简单的加法操作替代大量的乘法加法操作而为专用硬件设计带来便利——因为乘法器在现代神经网络实现中通常占据最大的资源与能源消耗比例。BinaryConnect方法通过在前向传播与反向传播过程中保持二值化状态来实现这一目标——然而，在计算梯度时仍需维持全精度权重以确保准确性——这种做法类似于dropout正则化方法的一种替代方案。通过BinaryConnect方法，在MNIST、CIFAR-10与SVHN数据集上均实现了接近最优的性能表现。

1 引言

深度神经网络（DNN）极大地推动了各种任务的发展，特别是在语音识别和计算机视觉领域。最近，深度学习在自然语言处理，尤其是机器翻译方面取得了重大进展。有趣的是，实现这一重大进展的关键因素之一是GPU的出现，速度提升了10到30倍，并且分布式训练。事实上，使用大量的数据来训练更大的模型，在过去几年中取得了突破性进展。今天，研究人员和开发人员设计新的深度学习算法和应用程序往往会发现深受计算能力的限制。与此同时，推动深度学习系统在低功耗设备上的应用（与GPU不同）极大地增加