01 信源的熵

信源的熵

自信息

如何度量你所获得的信息容量多少？例如有人告知某地发生了地震，则这一事件的发生频率较低；而如果告知某地出现了雾霾，则这一事件较为普遍。

以这个案例为例，在探讨信息理论时我们发现 信息量的大小与其对应的事件发生概率之间存在密切关系 当某个事件的发生概率较低时 该事件的发生所带来的信息量会更大 因此 信息量的大小与其发生的可能性呈现反比关系 如果一个事件的发生概率为零 那么当该事件发生时 所提供的信息量将趋向于无穷大 反之 如果一个事件必然会发生（即其发生概率为1） 那么该事件并不会带来任何新的信息 即它对观察者而言不具备任何意义 比如太阳从东方升起是一个确定性事件 不会传递新的信息 如果两个相互独立的事件同时发生 所带来的总信息量则等于各自单独所携带的信息量之和

我们定义事件A的信息量为I，并令P(A)表示事件A发生的概率；进而I表示关于P(A)的函数；它需满足以下几点条件

I表示基于概率空间中事件A的概率分布的一个单调递减函数。
当输入值为0时对应无穷大，在输入值为1时对应零。
当事件A和B互不影响时，函数I作用于它们联合概率的结果等于分别作用于各自概率后再求和。

我们可以经由满足以上三个性质的函数来定义对数函数的概念。由此可知，在信息理论框架下，当变量I(x)与概率分布P(x)相关时（即为此处所指的），其表