当前位置：首页 > news >正文

信息论基础

news 来源：原创 2025/5/25 14:05:06

加如存在一个离散变量 $X$ 可能取值 $(x_{0},x_{2},x_{3},\cdots ,x_{n-1})$ ,定义 $I(x_{i})=-log(p(x_{i}))$ 为事件 $x_{i}$ 发生所传递的信息。如果对所有的事件取平均即可以得到 $X$ 的熵。

$Entroy=H(X)=E\{I(x)\}=E\{-logp(x)\}=-\int p(x)log\ p(x)dx$

随机变量的熵解释为： $X$ 事件的不确定度。熵越大不确定度越大概率越小。就比如太阳从西边升起这个概率很小，但是表示的信息量却很大。对于一个联合事件 $(X,Y)$ 概率分布为 $p(x,y)$ 。假如已经知道 $Y$ 发生，那么 $X$ 剩余的不确定度我们用条件熵来表示：

$H(X|Y)=-\iint_{}^{}p(x,y)\ log\ p(x|y)dxdy$

假设一个信道模型

假如在接收端事件 $Y=y_{i}$ 已经发生的情况下能够提供 $X=x_{i}$ 多少信息用互信息(mutual information)表示为：

$I(X,Y)=\iint_{}^{}p(x,y)log\left ( \frac{p(x,y)}{p(x)p(y)}\right )dxdy=\iint_{}^{}p(x,y)log\frac{p(x|y)}{p(x)}dydx\\ =-\iint p(x,y)logp(x)dydx-\iint p(x,y)logp(y)dydx+\iint p(x,y)logp(x,y)dydx\\ =-\iint_{}^{}p(x,y)logp(y) + \iint p(x,y)logp(y|x)dydx\\ =-\iint_{}^{}p(x,y)logp(x)+\iint_{}^{}p(x,y)logp(x|y)dxdy\\ =H(Y)-H(Y|X)\\ =H(X)-H(X|Y)$