02 交互信息量

交互信息量

该通信系统的熵值提供了衡量信源每发送一个符号所携带的信息量的量化指标，在这样一个由三个要素构成的基础架构下（即包含发送端、传输介质以及接收端的完整系统），其核心关注点始终聚焦于如何量化评估接收端接收到消息后能够从中提取的信息量大小这一关键问题。换言之, 即使是在如此复杂的系统架构下, 我们的主要目标依然在于解决如何最大化地实现从接收端获得的信息收益这一基础性难题。

信道的数学模型

以最基础的方式探讨最简单的通信模型——单符号离散信道——其基本组成要素包括发送端、接收端以及信息传输通道三者之间的互动关系

p(b_j/a_i)这个条件概率被用来衡量信道对输入符号a_i的信息传递能力。由于不同信道具有各自独特的条件概率分布特性，则称该条件概率p(b_j/a_i)为信道的信息传递参数

我们可以使用传递概率矩阵来表示信道的传递特性

交互信息量

如何量化