深度网络的经验总结（参数方面）

（续我的上一篇博客）最早开始接触神经网络时完全没有掌握任何相关的技巧，在能够顺利运行开源代码的同时，并且每当看到损失函数数值下降时也会安心地运行着。
随着对神经网络知识的深入了解与实践积累，在处理数据集（train/val/test）准备以及优化训练超参数（如args或config文件设置）的过程中逐渐形成了自己的经验体系。
从未系统性地整理过每一个训练技巧及其背后的原因，
因此采取一边整理一边学习的态度，
依据个人经验和网站上的总结，
对深度神经网络的常见训练技巧进行了归纳整理。

目录

• 数据集准备阶段
  • 超参数配置及网络相关设置
    • 批量大小设定
    • 学习率选择策略
    • 最优化算法配置
    • 激活函数选择方案
    • 模型初始参数设置方案
    • 过拟合现象防范措施
    • 训练前必要检查步骤安排表单一：批设表单二：学率表单三：最算表单四：活函表单五：参初表单六：过拟防措施表单七：训练前检查工作流程

数据集的准备

本部分内容参考我的上一篇博客文章：深度网络的训练经验总结（数据篇）

超参数及其他网络设置

介绍一个便于入门的学习网站：PlayGround是一个在线演示与实验性质的神经网络平台。
这个图形化的界面功能非常强。
它能够直观展示神经网络的训练过程。
链接：<http