深度学习调参经验（1）

深度学习调参体验（一）

基本原则:

快速试错

一．一些大的注意事项:

从简开始, 适当放大模型参数, 优先选择256个滤波器以避免使用128个的方案. 主要关注的是如何防止过拟合, 构建一个能够在测试集上表现良好的模型. 即使在测试集上也会保持良好的表现.

为什么?

需要验证自己的训练脚本的流程是否正确。这一步小数据量且生成速度快，在规模上与大规模训练保持一致（仅减少少量循环次数）。

在小数据量的情况下，使用如此鲁莽的大网络模型在过拟合方面表现不佳。
这时应该反思一下：模型的输入输出是否存在问题？或者是否有必要排查代码中的潜在问题（记住，在没有修改代码的情况下怀疑工具库是不恰当的）？
模型所解决的问题定义是否存在问题？对应用场景的理解是否正确？
神经网络的强大能力不容置疑；即使面对调参带来的挑战，在大多数情况下也无法完全拟合所有问题（虽然偶尔可能会遇到例外）。

等到数据准备完成两天后, 结果发现了问题需要重新生成数据的时候,时间已经用完了

等到数据准备完成两天后, 结果发现了问题需要重新生成数据的时候,时间已经用完了

2. Loss设计要合理.

通常情况下，在分类任务中使用Softmax函数，在回归任务中则采用L2损失函数。
需要注意的是在回归任务中损失函数值的范围可能较大。例如当预测值与真实值之间差距较大时计算出的损失可能会非常大这尤其在单变量情