Loss(一)-2010: Cross entropy loss. Sample 3 has true label C5, so sample 3's loss is loss³ = -log(y hat_5^3), where y hat_5 denotes the probability of predicting category 5.

通常情况下，一个典型的卷积神经网络主要由多个功能模块构成，其中包括用于特征提取的卷积层、用于降维的池化层（pooling）、负责最终分类任务的全连接层以及用于计算误差的损失层等组成部分。

• 全连接层：等号左侧所描述的过程即为全连接层的功能，
  • W 表示全连接层中的参数，通常也被称为权重，
  • X 代表输入至全连接层的数据，即特征信息。
  • 从图中可以观察到，特征 X 是一个 N×1 的向量，这一结果是如何形成的呢？实际上，该特征来源于全连接层之前多个卷积层与池化层的处理结果。假设在全连接层前连接的是一个卷积层，那么该卷积层的输出将包含100个特征（即feature map的channel数为100），每个特征的尺寸为 4×4。在将这些特征传递给全连接层之前，需要将其展平为一个 N×1 的向量（此时 N 的数值等于 100×4×4=1600）。
  • 在明确了 X 的含义后，再来看 W。这里的 W 是一个维度为 T*N 的矩阵，其中的 N 与前面提到的向量 X