损失函数被测试和训练

题目（142）：有监督学习所涉及的损失函数主要有哪些？请进行列举并简要说明其特性。

回答思路

1. 根据任务目标，即选取适用于标签类别的损失函数：类别型（二分类/多分类）、序数型（序数分类）、连续型（回归任务）
2. 在同类损失函数的选择过程中，需要综合考虑以下特征

• 与优化相关的属性：凸性、可微性，甚至强凸性
  例如在二分类或多分类任务中，从0-1损失到替代损失的转换过程

• 对异常值的鲁棒性

3. 其他可供探讨的内容

• 概率视角的引入

4. 熟悉各类损失函数所对应的经典机器学习算法

0-1 loss and its surrogates

L_\text{logistic} = \log_2 (1+e^{-fy})
L_\text{cross entropy} = -\log_2 (\frac{1+fy}{2}), y \in [-1,1]

Hinge loss and Percepton loss

$L(h(x),y) = \max(0,1-yh(x)) \quad \text{(Hinge lo