深度网络的经验分享（数据集）

在最初进行神经网络训练时，对相关技巧几乎一无所知，只要能够顺利运行开源代码，并观察到loss值的下降，便安心继续执行下去。随着对网络结构的深入了解，逐渐掌握了从数据集（train/val/test）的准备到训练超参数（如args或config文件）配置等环节的经验，并开始依据自身积累进行设计。从未系统地分析过每一个训练过程中的小技巧及其背后的原理，因此抱着边整理边学习的心态，结合个人理解以及网络上他人的总结，对深度网络的训练流程进行了归纳与整理。

目录

• 数据集的构建

  • • 1. 数据集的分割

    • 2. 数据的预处理步骤

    • • 应对数据分布不均衡现象
      • 在数据加载过程中采取的处理方式

    • 3. 总结部分

  • 网络结构中涉及的超参数及其他配置

数据集构建与预处理

1. 数据集划分

深度网络是一种能够从数据中进行学习和训练的模型，因此数据集在网络训练过程中发挥着至关重要的作用。尽管训练集通常只是样本空间的一个较小采样，但我们仍然期望它能够充分反映样本空间的特征，从而使模型