CS 231n lecture 3: loss function optimization

本课程的核心内容包括：

1. 构建一个损失函数（loss function），通过将训练集数据输入该函数，从而得到用于评估参数W优劣的量化评分。
2. 寻求一种高效的途径，以确定能够使损失函数达到最小值的参数W，这一过程通常被称为最优化（optimization）。

---

损失函数

首先，我们对损失函数的通用表达式进行定义：
针对某一给定的数据集合

Xi表示输入至分类器的图像像素信息，Yi则表示所期望得到的标签结果。
我们将其损失函数的一般表达式定义为：

在确定损失函数之后，接下来需要对Li的具体形式进行探讨。本节课中讲解了两种Li的表达方式，其中第一种为多类支持向量机。

多类支持向量机损失（Multiclass SVM loss）

针对所提供的数据（{x}_{i},{y}_{i}），以及分类器函数$s=f(x_{