人工神经网络—在实现过程中的问题（后向传播算法）

后向传播算法应用中的问题

• 1. 总结

  • 2. 针对非线性函数的优化

    • 2.1 Sigmoid函数
    • 2.2 tanh函数

  • 3. 构建基于SoftMax函数与交叉熵损失的目标函数

  • 4. 随机梯度下降算法

  • 5. 结束语

  • 参考文献

研究回顾与现状分析

在前两次课程中，我们探讨了如何借助反向传播算法对多层神经网络进行训练，并归纳出反向传播算法的核心结构，具体包括以下步骤：

（1）针对神经网络中每一层的各个神经元，随机初始化对应的 w,b 参数。

（2）执行前向传播计算，对于输入的训练样本，依次计算并存储每层的输出结果，直至得到最终输出 y。

（3）设定目标函数 E，例如：E=\frac12||y-Y||^2。利用反向传播算法对每个参数 w 和 b 分别求取梯度 \frac{∂E}{∂w} 和 \frac{∂E}{∂b}。

（4）采用如下迭代公式对参数 w 和 b 进行更新
w^{(n+1)}=w^{(n)}-α{\frac{∂E}{∂w}|}_{w^{(n)},b^{(n)}}

b^{(n+1)}=b^{(n)}-α{\frac{∂E}{∂b}|}_{w^{(n)},b^{(n)}}
其中 α 为一个超参数，通常称为学习率