机器学习笔记 Cross entropy 交叉熵

交叉熵通常被应用于衡量实际结果与预测结果之间的差异程度。

1. 信息量

信息量用于衡量事件所包含的信息多少，通常认为概率较低的事件其所携带的信息量更为丰富。

该指标通常通过对数函数进行表征，其中 I 被用来表示信息量的大小

横轴表示概率，纵轴则代表信息量

熵的概念与特性

在某一特定情境下，存在n种可能的事件发展路径，每条路径对应一个概率值 p(x_0)

熵则被定义为所有信息量的数学期望，具体表达如下：

在实际应用中，有一种特殊情形需要关注，即最终结果仅包含两种可能的结局（例如抛掷硬币的情形）

3. 相对熵（KL散度）

用于评估两个概率分布之间差异性的指标

例如存在两个独立的概率分布 P(x) 与 Q(x)

在机器学习领域，P 通常代表样本的真实分布，如 [1,0,0] 表示当前样本归属于第一类。Q 则表示模型预测所得的分布，如 [0.8,0.15,0.05]。从直观角度来看，若使用 P 来描述样本，则能够达到理想状态。而采用 Q 来描述样本，虽然可以大致反映实际情况，但并不完全理想，所包含的信息量相对有限。