交叉熵和softmax（两个概念）

阐述优化神经网络的核心策略：即采用交叉熵损失函数结合softmax激活函数的实现方式。

二次代价函数分析

此前我们所采用的二次代价函数在某种程度上似乎也能够正常运作。然而实际上，当输入值与目标值之间存在较大差异时，该函数便不再适用；这源于在输入输出差距较大的情况下，该函数所对应的学习速度会显著降低。 我们可以通过一个简单的实例来观察这一现象的变化：

设想我们仅使用一个神经元以及一个输出神经元，并将代价函数定义为：

通过链式法则对权重和偏置进行导数计算：

假设训练输入为x = 1，而目标输出为y = 0，此时可以明显看出输入与输出之间的差异较大，代入计算得：

再回顾一下\sigma函数的定义：

从图中可以观察到，当神经元的输出值趋近于1时，对应的曲线呈现出较为平缓的趋势，从而导致\sigma'(z)的数值显著减小。这种现象正是学习过程变缓的主要原因。

交叉熵代价函数应用

为此，我们采用交叉熵代价函数，期望该函数能够解决此前所面临的问题：

该函数的表达形式较为复杂，难以直观理解。首先，我们需要分析其为何可以作为代价函数使用。

why cost func