Softmax
发布时间
阅读量：
阅读量
简介
在神经网络领域中，默认应用最为广泛的是sigmoid函数与tanh函数这两种激活函数；然而，在某些场景中也常用到ReLU函数作为替代方案。值得注意的是，默认情况下这一方法仅适用于二元分类问题；而当处理多类别问题时，则采用Softmax函数进行输出层计算。
在逻辑回归模型中，训练数据集被定义为一个由m个样本组成的集合：\{(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), ..., (x^{(m)}, y^{(m)})\}。值得注意的是，在这种设定下，默认情况下我们会在每个样本x^{(i)}的第一个分量处附加一个虚拟变量x_0 = 1（即所谓的截距项），以方便后续计算过程中与参数向量\theta进行点积运算。具体而言，在这种情况下，默认情况下所有样本向量均为n+1维空间中的元素，并且第一个维度始终被赋值为数值" ¹"以确保后续计算过程中的连贯性与一致性。
在logistic回归中，激活函数是：
训练 的最小化代价函数是：
其中， h_\theta(x) = \frac{1}{1+exp(-\theta^Tx)}对应的图形是：
还没有任何评论哟~