对_softmax_交叉熵损失函数的深入理解

0、前言

近期研读了一位杰出学者的博士毕业论文，获益良多。论文题目为《基于深度学习的人脸认证方法研究》。损失函数作为调控深度神经网络训练过程的核心要素，该论文对深度学习中损失函数 的运行机制进行了深入探讨，并将原本广泛应用于通用图像识别 领域的损失函数 以及多种适用于度量学习 的损失函数 进行了调整，使其更契合于人脸认证模型 的训练需求。该论文对传统的 Softmax 交叉熵损失函数及其后续提出的一系列改进版本展开了大量理论层面的分析。与传统理论侧重概率解释不同，本文所提出的分析框架主要建立在特征与权重之间的几何关系及统计特性之上，由于特征和权重相较于Softmax 概率更为基础，因此能够推导出更为丰富的数学结论。

本人学识有限，此处仅能借鉴前辈的毕业论文内容，整理出一些学习心得，若存在不当之处，请联系删除。

1、研究背景与问题提出

损失函数作为神经网络训练过程中的关键组成部分，其作用类似于整个系统的中枢神经。若将神经网络的架构比作人体的躯干，那么损失函数则可视为驱动其运作的核心大脑。在完成一次完整的神经网络运算后，系统会生成一组输出数值，并将其与预期的理想值进行对比，从而计算出相应的梯度信息。这些梯度信息随后通过反向传播机制逐层传递，促使各层参数不断调整与优化。通常情况下，在构建损失函数时应确保其