Python深度学习——信息量与熵

【Python深度学习】——信息量|熵

• 假设

• 1. 信息量

• • 1.1 含义
  • 1.2 信息量的公式:

• 2. 熵Entropy

• • 2. 含义
  • 2.2 熵的计算公式:
  • 2.3 熵的作用

假设

案例：掷硬币
设想我们基于假设有一个均匀的公平硬币。这枚均匀的公平硬币具有正反两面：分别标记为H和T。每次抛掷该枚公平硬币时，出现正面或反面的概率均为 0.5

1. 信息量

1.1 含义

信息量用于衡量事件发生难度
事件越容易发生, 其信息量就越小.

1.2 信息量的公式:

定义信息量I_x为：

I_x = -\log_2 P(x)

其中I_x代表事件x所包含的信息量，
而P(x)则表示该事件发生的概率。
基于二进制的对数计算得到的信息量反映了系统状态的不确定性。
当两个独立事件同时发生时，
其总信息量等于各自信息量之和。
具体而言，
对于两个独立事件A和B，
有：

I_{A,B} = -\log_2 P(A,B)

根据概率乘法法则可知：

= -\left(\log_2 \frac{1}{P(A)} + \log_2 \frac{1}{P(B)}\right)

因此得到：

I_{A,B