深度学习前向和反向传播（四）

文章结构概述

• • 前向传播
    • 反向传播
    • 总结

写在最前面的话：今天要梳理的知识点是深度学习中的前/反向传播的计算，所需要的知识点涉及高等数学中的导数运算。

在深度学习领域，神经网络实质上是由多个复合函数构成的系统。函数的核心作用在于将输入变量x转换为输出结果y，即f(x)=y，而函数内部所包含的参数则是通过训练过程确定下来的。那么，如何对这些函数进行训练以明确其参数？这一问题则需要借助网络中所涉及的两种计算方式：前向传播与反向传播。

前向传播

前向传播（Forward Propagation）的概念相对容易掌握，其本质是从输入数据出发，经过逐层隐含层的运算最终得出输出结果的过程，这一过程也被称为前向传播。例如，若网络结构中仅包含一个神经元，

在单一神经元网络结构中，正向传播过程遵循如下数学表达式：（公式1）
y=W*x+B
至于反向传播机制，则是依据（实际标签值Y与预测输出y之间的差异），对权重参数W以及偏置项B进行修正与优化。

反向传播

反向传播（Backward Pro