深度学习基础知识——信息论的核心概念

信息论作为一门学科，其研究基础是信息或不确定性具备可度量的特性，主要致力于探索如何实现信息在传输过程中的高效性、可靠性与安全性。
（【注

1.前言

从常理出发，发生可能性较低的事件具有较高的不确定性，一旦出现往往令人感到意外，从而带来较大的信息量，尤其是那些几乎不可能发生的事件一旦出现，其所携带的信息量将尤为显著；而对于发生概率较高的事件，因其具有较强的可预见性，不确定性较低，即便发生也不会带来过多的信息量，特别是当某一事件的概率为1时，其发生并不会产生任何信息量。通常而言，事件发生的可能性越低，其不确定性程度越高，在事件实际发生后所蕴含的信息量也就越大。

2.自信息与互信息

信息量的自我度量用于衡量单个消息或消息集合所蕴含的信息内容；而信息量的交互度量则用于评估不同消息或消息集合之间所传递的信息关联程度。

2.自信息概念与特性

在事件集合X中，针对事件x=ai所对应的自信息量，其数学表达式可表示为：
I_X(a_i)=-logP_X(a_i)
为了简化表述，通常将其记作：I(x)=-logp(x)

规定自信息I应为