反向传播推导示例

假设存在这样一个网络结构：

第一层为输入层，其中包括两个神经元i1和i2，以及一个截距项b1；第二层为隐含层，包含两个神经元h1和h2，并附带截距项b2；第三层为输出层，包含输出节点o1和o2。图中所标注的wi代表各层之间连接的权重参数，激活函数默认采用sigmoid函数。

具体参数如下：
输入数据 i1=0.05，i2=0.10；
输出数据 o1=0.01，o2=0.99；
初始权重 w1=0.15，w2=0.20，w3=0.25，w4=0.30，w5=0.40，w6=0.45，w7=0.50，w8=0.88。

目标是：在给定输入数据i1和i2分别为0.05与0.1的情况下，使输出结果尽可能接近原始设定的o1与o2值（即分别为0.01与0.99）。

Step 1：前向传播
首先从输入层传递至隐含层。
计算公式为：h_1 = w_1 \times i_1 + w_2 \times I_2 + b_1
代入数值后得到：h_1 = 0.15 \times 0.05 + 0.2 \times 0.1 + 0.35

接着对神经元h₁进行激活