信息测度：信息熵、联合熵、条件熵、互信息、条件互信息、块熵、相对熵及转移熵

1.信息量

信息量指的是在从N个等概率事件中确定某一特定事件时所需的信息度量，即识别出这N个事件中哪一个发生所需的最少是或否问题的数量。

在一个系统中，若等概率事件的总数越多，每个事件发生的可能性就越小，因此要准确传达具体哪个事件发生所需的比特数也就相应增加。

举个例子，假设有两个相互独立的房间A和B，它们之间只能通过01信号进行信息交流。当A房间抛出一枚硬币时，为了告知B房间是正面还是反面朝上，至少需要使用\log _22=1个比特的信号。同理，如果A房间掷出的是一个有8个面的骰子，则至少需要\log _28=3个比特的信号来传递这一信息。

如果系统中共有N个等可能发生的事件，则将\log _2N定义为信息量。由于每个等可能事件的发生概率为\frac{1}{N}，因此信息量可以表示为 -\log _2\frac{1}{N}。进一步推广到一般情况，若某个事件x的发生概率为p\left( x \right)，则传递该事件所需最少比特数（即信息量）可表示为 -\log _2p\left( x \right)。

2.信息熵

信息熵被用来表征整个事件空间所蕴含的平均信息量，即对信息量的期望值进行度量。通过将事件空间中各事件出现的概率与其对应的信息量相乘，并对所有结果进行求和，即可计算出信息熵：
$H