caffe层解读系列——Hinge Loss

————— Hinge Loss 定义 —————

Hinge Loss 主要应用于需要实现”maximum-margin”特性的分类任务，因此在SVM分类中具有特别重要的适用性。

Hinge Loss 的具体定义如下：

l(y) = max(0,1-t\cdot y)

在此公式中， t=\pm1 ，需特别注意的是 y 并非代表分类的标签，而是决策函数的输出结果。例如在线性SVM模型中， y=wx+b ，其中 x 表示待分类的数据点，而 w 与 b 共同决定了分类所用的超平面。

通过其定义可以看出，当 t 与 y 的符号一致（即表示分类正确）并且 \Vert y\Vert \ge 1 时，Hinge Loss 的值 l(y) 将为零；而在符号不一致的情况下，损失函数值则会随着变量的变化呈线性增长趋势。

———— caffe中如何定义Hinge Loss ————

在Caffe框架中，关于Hinge Loss的定义与前述内容存在一定的差异，以下将详细阐述Caffe中具体的实现方式。

Caffe支持L1与L2两种形式的Hinge Loss，具体表达如下：

l(y) = \Vert H\Vert_1 以及 l(y) = \Vert H\Vert_2

其中