神经网络专项 全连接网络（2024）

全连接网络结构解析

1.理论原理

定义：对于第n-1层与第n层而言，第n-1层中的每一个节点均与第n层的所有节点存在连接关系。具体而言，在第n层的节点执行计算过程中，其激活函数的输入来源于第n-1层所有节点的加权结果。

引用自_寒潭雁影
显然，相关计算公式可表示为：Z1=W11X1+W12X2+K1；Y=1/（1+e的-z次幂）（其余节点以此类推）
选择使用激活函数形式为1/（1+e的-x次幂）
通过Sigmoid函数实现激活操作（这一过程类似于复合函数的运算方式）
步骤
a.前向传播
列出每个节点对应的表达式
将所有X、K、W的具体数值代入，推导出Z（1）和Y，并进一步计算O
其中Y与O均为Z经过激活函数处理后的结果
经过运算后得出 Z(1)、Y、Z(2)、O
#通过激活函数实现两个目的：对数据进行归一化处理，同时引入非线性因素
#偏置项的作用在于打破线性关系，使模型具备非线性能力
b.反向传播
依据前一步骤中获得的输入与输出信息，结合期望输出结果对参数W进行调整
引入损