Python深度学习——交叉熵损失函数及KL散度

【Python深度学习】——交叉熵|KL散度|交叉熵损失函数

• 1. 交叉熵Cross Entropy
  • • 1.1 交叉熵的概念
    • 1.2 交叉熵的表达式
    • 1.3 交叉熵的特性
  • 2. KL散度
  • • 2.1 KL散度的定义
    • 2.2 KL散度的数学形式
    • 2.3 KL散度的特征
    • 2.4 KL散度的应用情境
  • 3. 交叉熵损失函数
  • • 3.1 关于交叉熵损失函数的定义及其数学表达式

1. 交叉熵Cross Entropy

1.1 交叉熵的含义

交叉熵用于衡量两个概率分布之间的差异程度，是信息论中的一个重要概念。在机器学习领域，尤其是在处理分类任务时，该指标被广泛采用作为模型性能的评估标准。

1.2 交叉熵的公式

H(P, Q) = -\sum_{i} P(x_i) \log Q(x_i)
在此表达式中，P(x_i) 表示实际分布下第 ( i ) 个事件发生的概率；
而 Q(x_i) 则代表模型所预测分布中对应第 ( i ) 个事件的概率值。

1.3 交叉熵的特点

1. 随着模型预测分布 𝑄 与真实分布 𝑃 的相似程度逐渐提升，对应的交叉熵数值将呈现出下降趋势。
2. 交叉熵所计