An extension of the Softmax function

目录

一、Softmax函数

二、对数Softmax函数

三、改进型Softmax-A-softmax方法

四、L-softmax算法

---

前言

在机器学习，特别是深度学习的研究范畴中，常常需要将输入数据转换为处于0至1区间内的概率值。此时，人们通常会首先考虑sigmoid函数与softmax函数。其中，softmax函数可视为sigmoid函数在多分类任务中的扩展形式，其主要作用是将多个分类结果以概率分布的形式呈现出来。从数学角度，特别是在概率论及其相关研究领域中，softmax函数也被称为归一化指数函数，它是逻辑函数的一种拓展形式。Softmax函数本质上是对有限项离散概率分布进行梯度对数归一化的结果。因此，在多项逻辑回归、多项线性判别分析、朴素贝叶斯分类器以及人工神经网络等多种基于概率的多分类问题方法中，该函数均被广泛采用。

softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values.

一、Softmax

softmax函数具备优良的数学特性，其特性可以从以下几个角度进行分析：

1、softmax函数可视为sigm