在Keras的二分类场景中对sigmoid、softmax激活函数以及binary_crossentropy、categorical_crossentropy损失函数进行了总结

在近期对focal_loss进行探讨的过程中，注意到不同形式的交叉熵损失函数表达方式存在差异，现将其进行归纳整理，以便后续应用时参考。

首先sigmoid与softmax激活函数联系与区别：

sigmoid激活函数的数学表达式为：
p(x) = \frac{1}{1+e^x}
而softmax激活函数对应的公式为：
p(x_i) =\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}}
当处于二分类问题时，softmax函数可表示为：
p(x_i) =\frac{e^{x_i}}{e^{x_j}+e^{x_ｉ}}＝\frac{1}{1+e^{x_ｉ-x_j}}
其中，i和j分别对应两个类别，设定i=0,j=1。因此，在二分类场景下，sigmoid函数与softmax函数在数学表达形式上具有等价性。

binary_crossentropy与categorical_crossentropy

在实际应用中，binary_crossentropy通常与sigmoid函数配合使用，而categorical_crossentropy则常与softmax函数搭配。binary_crossentropy的数学表达式为：
$loss_{binary}=-label*log(predict)-(1-label)