自然语言处理（八）——语言模型性能分析

一、概念

信息熵： 熵这一概念是由香诺将之引入信息论领域的。在热力学中熵被用以度量物质分子状态的混乱程度，在此后的信息论研究中则演变为自信息这一术语，并被视为表征随机变量不确定性程度的数量指标。该指标衡量了信源X每次发送一个符号（无论发送何种符号）时所携带的信息量大小。对于一个随机变量而言，在其不确定性越大时其熵值也随之增大这意味著人们对其取值做出精确预测的可能性就越低因而往往需要用更多的信息量才能准确估计出该变量的具体数值

在宗成庆老师的《统计自然语言处理》一书中给出了详细的解释，在面对这些复杂难懂的概念时我也对这些内容一知半解

明天依旧会有太阳升起的现象发生，并且这一事件发生的概率极大程度上可以被认定为几乎肯定会发生；由此可知, 这样的事件其自身的不确定性便显得非常微弱, 因此它所对应的系统熵值也会相对较低, 我们无需依赖其他信息来判断它的发生与否; 同样地, 我们也无需查阅相关文献资料或者与太阳相关的资料就可以得出结论; 由此可见, 熵值越低就意味着系统中所包含的信息量就越小; 类似地, 如果我们考虑一个明天下雨这样的高不确定性的事件, 那么为了准确预测其发生可能性, 气象站就需要通过监测云层厚度、气温等因素来预测降水可能性; 综上所述, 我们已经明确了熵的基本概念及其相关性质; 那么如何量化并计算系统的熵呢？其计算公式已经被广泛接受并应用于多个