Tensorflow for MNIST dataset with overfitting problem and dropout algorithm

一、过拟合、欠拟合问题

• 可能产生的原因： 在机器学习模型中，如果模型的参数数量过多而训练数据量不足，则可能导致过拟合现象的发生。具体而言，在经过充分的模型训练后，在训练数据集上的表现会较为理想（如损失值较低、准确性较高），但当面对新的测试样本时，则会出现明显的能力下降（如测试损失较高、预测准确性较低）。

1、欠拟合

主要原因在于低维度特征空间难以捕捉复杂的模式。该模型结构单一，在面对复杂问题时表现欠佳。由于所采用的方法过于基础化，导致生成的模型无法有效学习训练数据中的深层关系。这使得在测试新数据时预测结果与实际值之间的偏差显著增大。

2、过拟合

其根本原因在于特征空间维度过高且参数数量过多的情况下，默认构建出一个复杂的模型架构会导致学习器出现过拟合现象：即使如此，在测试集上的预测效果却不理想；尽管如此，在训练集中表现优异；而忽略了在未知新数据上的泛化能力。

二、解决过拟合的方法

1、降低数据量： 数据量过多可能会导致过于拟合。

2、选择适当的模型结构 ：通过降低网络层数或神经元数量等措施，这些做法都能有效