如何从H(X）推导出I（X；Y），以及如何将P（X）扩展到P（X,Y）

问题

当探究互信息I(X;Y)时，我们发现以下关系：
I(X;Y)=H(X)-H(X|Y)
具体推导过程如下：
H(X) = -\sum_{x}{p(x)\log_2{p(x)}}
H(X|Y) = -\sum_{x}\sum_{y}{p(x,y)\log_2{p(x|y)}}
进一步计算得：
$H(X) - H(X|Y) = -\sum_{x}{p(x)\log_2{p(x)}} + \sum_{x}\sum_{y}{p(x,y)\log_2{p(x|y)}} \ = -\sum_{x}\sum_{y}{p(x,y)\log_2{p(x)}} + \sum_{x}\sum_{y}{p(x,y)\log_2{p(x|y)}} \ = -\sum_{x}\sum_{y}{p(x,y)(\log_2{p(x)} - \log_2{p(x|y)})} \ = \sum_{x}\sum_{y}{p(x,y)(\log_2{p(x|y)} - \log_2{p(x)})} \ = \sum_{x}\sum_{y}{p(x,y)\log_{2}}{\frac{p(x|y)}{p(x)}} \ = \sum_{x}\sum_{y}{ p ( x , y ) \cdot \lg p ( x | y ) / p ( x ) } \ = \