人工神经网络—梯度下降算法

梯度下降算法

• 1. 回顾学习过程

  • 2. 展开问题分析环节

  • 3. 使用梯度下降法优化网络中的未知参数

    • 3.1 对梯度下降法进行直观阐述
    • 3.2 对梯度下降法进行详细推导
    • 3.3 分析多变量情形下的梯度下降方法

  • 4. 结尾

  • 参考资料

1. 回顾

在上一回内容中，我们探讨了多层神经网络的基本架构。具体而言，在每一层神经网络中都包含多个神经元按照一定的线性架构排列，并通过层与层之间的非线性变换进行信息传递。我们还对这种非线性变换的具体形式进行了深入探讨，在理论层面证明了当采用阶跃函数作为非线性变换时，三层神经网络体系便具备模拟任意决策函数的能力。然而，在实际应用场景中这一命题恰恰相反：我们通常并不清楚待求解的决策函数究竟是什么形式；相反已知的是特征空间中的一些训练样本及其对应的标签信息。由于缺乏对决策函数的具体认识，在这一背景下构建一个合适的神经网络模型框架就显得尤为重要

2. 思路分析

我们不得不转向另一种思路，并假设这种特定的架构下将大量的训练数据输入到神经网络中以估计其待求参数。然而这两个问题都极具挑战性，在假设多层神经网络结构时会遇到诸多不确定性因素其中最关键的因素有两个：(1) 网络应该有多少层？(2) 每一层应该包含多少个神经元？