Ternary weight networks

前言

现阶段，深度神经网络的结构复杂度与训练时长呈现出持续上升的趋势。一方面，研究人员试图通过优化处理器性能来应对这一挑战，然而现有处理器的运算效率仍存在明显局限。因此，在当前条件下，一个结构较为复杂的神经网络完成训练往往需要耗费长达一至两周的时间。鉴于上述问题的存在，相关研究者提出了多种应对方案。

在神经网络的整个训练流程中，最为耗时的操作当属乘法运算。特别是针对浮点型数据的乘法操作，其计算开销尤为显著，通常需要消耗大量的时钟周期。如果能够将所有全连接层的权重参数简化为1或-1，则原本复杂的乘法运算便可转化为简单的加减运算，从而大幅节省计算资源。目前主流的权重简化方法主要包括Binary和Ternary两种类型。其中Binary方法将权重限定为1和-1两个取值范围；而Ternary方法则允许权重取值为1、-1以及0这三个数值。这两种策略之间的差异主要体现在实际应用效果上：Binary方法在处理相对简单的数据集（如MNIST、CIFAR-10）时表现较为出色；但在面对更为复杂的数据集（如ImageNet）时，则相较Ternary方法存在一定的性能差距。

摘要内容提炼

我们提出了一种三元权重网络（TWN），该网络的权重被限定为+1、0和-1三个取值。通过最小化全精度权重（包括浮点或双精度）与三元权重之间的欧几里得距离，实现对网络参数的有效逼近。这种基于阈值