跟我学神经网络2-反向传播

文章目录

• • 1. 关键词

  • 2. 导读

  • 3. 数学基础

  • • 3.1 梯度下降
    • 3.2 链式法则
    • 3.3 学习率

  • 4. 代价函数

  • 5. 反向传播

  • • 5.1 算法步骤
    • 5.2 公式推导
    • • 5.2.1 输出层

  • 5.2.2 隐含层到输出层

  • 5.2.3 隐含层之间

    • 5.3 例子

  • 6. 附录

  • • 6.1 中英文对照表
    • 6.2 扩展阅读

欢迎关注《汽车软件技术》公众号，回复关键字获取资料。

1. 关键词

梯度下降，链式法则，反向传播

2. 导读

本文介绍了反向传播的数学基础，及其过程。

3. 数学基础

3.1 梯度下降

神经网络求解的目标是使输出值尽可能接近真实值。
这一过程等价于寻找极值点或最低点。
其中最常用的方法就是梯度下降法。
具体来说，在负梯度方向上（即沿着导