信息论中的熵与联合/条件熵及互信息的关系

图片取自http://colah.github.io/posts/2015-09-Visual-Information/

基本概念

（1）信息论中的熵 也被称为香农熵或信息熵, 它对应于图中的两个变量之间的关系, 即H(X)与H(Y)之间的关联性. 其中, H(X)代表对随机变量Y而言的不确定性, 而H(Y)则代表对随机变量X而言的不确定性.

（2）条件熵对应于上图中两个指标：H(X|Y)与H(Y|X)。
其中：

• H(X|Y)描述了在已知随机变量Y的情况下，
  随机变量X所包含的信息量。
• H(Y|X)描述了在已知随机变量X的情况下，
  随机变量Y所包含的信息量。

（3）联合熵量 ，表征上图中的H(X,Y)。 其中，H(X,Y)表示所描述的不确定性。 值得注意的是，H(Y,X)$与H(X,Y)$$$数值相同
均代表同一个概念

（4）互信息 ，该图中定义为I(X,Y)。
I(X,Y)表示在给定随机变量Y的情况下所获得的