交叉熵损失函数（Cross entropy cost function）

1.Cross_entropy公式及导数推导

目标函数：

a=σ(z)，其中z=wx+b

通过采用SGD等优化算法对损失函数进行改进，借助梯度下降策略调整参数以实现损失函数的最小化：
针对权重与偏置这两个参数，分别计算其偏导数：

以下为推导过程（偏置相关的推导方式与此相同）：

Note ：此推导过程依赖于对sigmoid激活函数导数的运用，从而将表达式简化为最终形式。sigmoid求导详解

2.分析交叉熵Loss的特点

【在导数的计算过程中，并未包含σ′(z)这一项，权重的调整主要受到σ(z)−y这一误差项的影响。换句话说，权重的更新速度与误差大小密切相关，当误差较大时，权重变化较快；而误差较小时，