MLP和CNN在MNIST数据集上的测试和训练

一、CNN基础知识点

1、局部感知
生物视觉系统的视觉皮层部分接收信息，而图像中各部分的关键像素具有局部关联性。在MLP架构中神经元采用全连接设计，在此基础之上能够实现从局部到整体的一个逐步演进过程，如图所示：

如图所示，每个卷积核通过与其相邻的像素区域进行信息处理。经过计算得到共有 ( ( 25 \times 25 \times 4 ) / ( 5 \times 5 \times 8 ) ) 个权重参数。相较于全连接层而言，该网络架构仅包含约7.6\times million个可训练参数。

2、权值参数共享

如图所示，在一个5×5的图像上应用一个3×3的卷积核执行卷积操作。该卷积核通过与每个像素点进行计算来处理图像信息，并将符合特定条件的部分捕获出来。

3、多卷积核
单一卷积核仅能获取局部特征，在处理复杂任务时往往难以