深度学习模型的选择、欠/过拟合和感受野

文章目录

• • 模型选择

  • • 泛化能力
    • 过拟合和欠拟合
    • 模型复杂度

  • 感受野

  • • 感受野如何计算？

  • 总结

写在最前面的话：这一篇文章要整理的知识点有点稀疏，内容不是很多。

模型选择

在深度学习框架中进行参数调优时会发现，在保证收敛性的前提下会有多种超参数组合可供选择。然而，在实际应用中我们可能面临多个候选方案需要进行比较评估的问题：这么多候选方案该如何筛选出最优的一个呢？针对不同条件下的候选方案如何筛选出性能较好的那个？实际上我们可以从以下几个关键指标出发：观察各候选方案的验证集准确率以及测试集表现情况等维度进行综合考量以实现最优配置。

泛化能力

深度学习

深度学习

验证数据集与测试数据集具有相似的功能。这些验证数据并未经过模型的训练过程，并非专门用于评估模型表现的数据集合。从严格的逻辑角度来看，在完成模型参数确定之后才允许使用测试集合进行性能评估是必要的原则。我们必须避免在模型的训练阶段利用测试数据进行参数调整，并且不能仅凭训练误差来预估模型的泛化能力。因此，在建立训练体系时

过拟合和欠拟合

决定机器学习算法效果的关键要素有两个方面：其一主要体现在降低训练误差；其二则是缩小训练误差与测试误差之间的差距。这两个要素的主