文献阅读 - Binary Weight Neural Networks

二值化神经网络训练方法

M. Courbariaux M, 等人，Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, (2016)。

摘要

二值化神经网络（Binarized Neural Networks，BNNs）：在推理阶段，网络的权值与激活均采用二进制数值表示；而在训练过程中，则通过二进制权值与激活来计算参数梯度。

关于BNNs的训练方法

在网络前馈计算过程中，BNNs能够有效减少内存使用量及访问频率，同时大部分运算以位操作形式完成，从而显著提升系统的能效表现。

引言

二值化神经网络（Binarized Neural Networks，BNNs）：在推理阶段，网络中的权值与激活均被表示为二进制数值；而在训练过程中，则通过采用二进制形式的权值与激活来计算参数的梯度。