Master deep learning with softmax concept

softmax函数原理解析

分类问题
一个基础的图像分类任务中，输入图像的高度与宽度均为2个像素点，且采用灰度色彩模式。
图像中的四个像素点分别被标记为x_1, x_2, x_3, x_4。
假定实际类别包括狗、猫和鸡，这些类别对应的离散数值分别为y_1, y_2, y_3。
在实际操作中，通常会以离散数值的形式来表达不同类别，比如y_1=1, y_2=2, y_3=3。

权重矢量
\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1 \end{aligned}

\begin{aligned} o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2 \end{aligned}

\begin{aligned} o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3 \end{aligned}

• 神经网络图
  下图通过神经网络结构图展示了上述计算过程。softmax回归与线性回归相似，其本质也是一种单层神经网络结构。由于每个输出o_1, o_2, o_3的计算均需依赖于