深度学习—各种优化方法(Relu、RMSProp、Dropout等)

阅读前请注意此部分 👉：博主目前正处于数据相关知识的学习阶段，作为学习者，我们应当始终保持谦逊的态度，不应被身份标签所束缚，从而限制自身的学习广度。因此，本博客记录的是在学习过程中的部分总结与思考，也期待与大家共同成长。在整理内容的过程中，难免存在疏漏与不完善之处，若发现任何问题，欢迎通过私信方式与博主交流指正。
博客链接：天阑之蓝的博客，在学习的道路上难免会遇到困惑与迷茫，希望大家能够在这一过程中不断认可自我、突破自我，并最终实现自我的价值。

目录

• 问题的提出

  • 一、针对模型在测试集上表现不佳的优化策略

  • • 1. 激活函数的选取
    • • 1.1 Sigmoid函数的基本概念
      • 1.2 z应当具备怎样的形态特征
      • 1.3 Sigmoid函数所具有的优势
      • 1.4 Sigmod函数存在的不足（如梯度消失与梯度爆炸现象）
    • 2. 应对梯度消失与爆炸的解决方案
    • • 2.1 Relu函数的应用
      • 2.2 Relu函数作为分段线性函数，如何增强模型的非线性表达能力

  • 二、用于改善模型在测试集上表现不佳的优化方法

  • • 1.Adagrad算法
    • 2. 动量法（Momentum）
    • 3. R