Tensorflow学习笔记：基础篇——MNIST手写数字识别升级版

Tensorflow学习笔记：基础篇（5）——Mnist手写集改进版（交叉熵代价函数）

前序

在之前的改进方案中构建了一个不含输入层的三层全连接神经网络模型用于MNIST数据集的分类任务。该模型架构具体设置如下：其中输入层配置了784个神经元；其隐藏层分别包含500及300个神经单元；输出层则设置为10个神经元。经过2万次迭代优化后，在测试集上的准确率达到96%以上。本文我们在此基础上进一步优化研究方向：即采用交叉熵损失函数取代传统的二次代价函数，并通过实验观察评估两者的性能差异。

方差代价函数&交叉熵代价函数

C 表示代价函数，为简单起见，以一个样本为例进行说明，此时二次代价函数为：

在模型中，在线性回归中假设我们有一个输入向量x对应的标量输出y，在单层感知机中我们可以表示为：在线性变换之后通过激活函数得到神经元的活动水平a=σ(z)，其中z=wx+b。为了训练这样的模型以使其能够准确预测新的输入样本对应的输出值，在机器学习中常用的方法是通过最小化损失函数来进行参数优化的过程中使用梯度下降法(Grad