人工神经网络—反向传播算法（二）

反向传播算法（二）

• 1. 回顾

  • 2. 反向传播的整体框架

  • • 2.1 具体推导过程
    • 2.2 细节说明后向传输程序

  • 3. 结尾

  • 参考资料

1. 回顾

第一讲是以一个简单的神经网络为基础介绍如何使用反向传播算法来更新参数并完成训练。本讲将这一方法扩展到一般情况下的神经网络结构中，在这里我们不考虑各层的数量以及每层节点的数量来进行反向传播算法的推导

2. 反向传播算法的一般情形

如图1所示, 设定一个具有l层人工神经网络的体系结构, 不设定各层神经元数量的上限, 这样便能够用更为简洁明了的矩阵形式清晰地描述整个系统的拓扑关系

图1 一般情形下的神经网络模型

神经网络的矩阵方式如下：

我们首先引入输入变量x它对应于输入层的激活值我们将其表示为$a