信息论复习-期末自用

1.香农信息：信息是事物运动状态或存在方式的不确定性的描述

信息不等于情报（情报是人们对于某个特定对象所见，所闻所理解而产生的知识）

信息不等于知识（知识是以实践为基础，通过抽象思维，对客观事物规律性的概括）

信息不等于消息（能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来）

信息不等于信号（信息的物理表现形式）

信息的传输是为了消除不确定性。

2.信息的三个基本层次

语法信息：事物运动的状态或变化方式外在形式

语义信息：事物运动的状态或变化方式内在含义

语用信息：事物运动的状态或变化方式效用价值

1. 信源（无记忆~：信源输出符号的概率与以前的输出符号无关；有记忆~）

信源是信息的来源，其功能是直接产生可能包含信息的消息（相当于一个随机出现的消息的集合）

1. 信源编码器：将消息变成符号（适合于信道传输的信号），提高传输效率；信道~：对符号序列增加冗余，提高信息传输的可靠性。
2. 调制器：将编码器的输出符号变为适合信道传输的信号，提高信息的传输效率
3. 信道：信道是信号从编码器传输到译码器的中间媒介。信息论中的信道是广义信道，是一种逻辑信道，它和信息所通过的介质无关，只反映信源与信宿的连接关系。狭义信道是某些物理通信信道
4. 译码器：与编码器功能相反
5. 信宿：接收信息，包括人和设备
6. 3项性能指标（传输的有效性、可靠性、安全性）实现方式分别为：信源压缩编码、信道纠错编码、保密通信
7. 信息论在进到的发展趋势（网络信息论的兴起、mimo技术的提出、协同通信的提出、物理层安全途径的兴起）

1. 事件发生的不确定性大小等效于判定该事件出现的难度大小
2. 自信息：当事件x发生前，表示x发生的不确定性；当x发生后，表示x所提供的信息量

<tip> y发生后，x发生的不确定性或所提供的信息（x|y）

1. I(xy)=I(x)+I(y|x)=I(y)+I(x|y)

注：p(xy)=p(x)p(y|x)= p(y)p(x|y)

1. 信息熵H(x)：信源X输出各消息xi的自信息I(xi)的数学期望为信源的平均自信息量

单位：bit/sig

（1）H(x)是信源的平均自信息量

（2）H(x)不是一个函数，依赖概率分布p（x）

（3）H(x)是一个固定值

H(x)表示事件发生前信源X取值的平均不确定性；熵越大，平均不确定性越大

H(x)表示事件发生后平均每个事件所提供的信息量（平均每个信源符号所携带的信息量）

1. 辨析：I(X) v.s. H(X)

相同点：描述不确定性大小（所提供信息量）

不同点：个别事件与整体集合

对于离散无记忆信源X的二次拓展H(X2)= 2H(X)

1. 信息熵vs联合熵vs条件熵

1. 单符号无记忆信源输出的信息量
2. 多符号信源输出的信息量
3. 单符号有记忆信源输出的信息量

1. 熵的基本性质

非负性：H(X)>=0；对称性；拓展性

确定性：H(X)=H(1,0)=H(1,0,..,)=0

链式法则：H(XY)=H(X)+H(Y|X)

若X、Y独立，H(XY)=H(X)+H(Y)

H(X1X2...Xn)=H(X1)+H(X2|X1)+...+H(Xn|X1。。。Xn-1)

极值性：H(X)<=logn,

当且仅当p1=p2=...=pn=1/n时，信源具有最大熵

等概分布，信源平均不确定性最大

不增原理：H(X|Y)<=H(X)

等号成立当且仅当X、Y独立

已知条件越多，不确定性（熵）越小

独立界：若多个随机变量相互独立，则其联合熵为各自熵的和：H(X₁, X₂, ..., Xₙ) = H(X₁) + H(X₂) + ... + H(Xₙ)。
若不独立，则联合熵小于等于各自熵之和。

不变性：随机变量X、Y满足y=f（x），f为X的符号集到Y的符号集的映射，则H(Y)<=H(X),等号成立当且仅当f是一一映射

1. 从信源传输效率角度出发，剩余度越小越好，剩余度大意味着信源传输效率低。但从信息传输可靠性的角度出发，需一定剩余度以达到信息检错和纠错功能

1. 信道三要素：输入、输出、输入输出的统计依赖关系
2. 无噪声信道：不存在噪声或噪声很小

1. 无损：每个输入对应多个输出
2. 确定：多个输入对应单个输出
3. 无扰：一个输入对应一个输出

有噪声

1. 无记忆：给定时间输出仅依赖当前输入
2. 有记忆：输出值不仅依赖当前输入又依赖以前输入

1. 信道疑议度：H（X|Y）=-∑ p(xy)logp(x|y)

含义：收到Y后对X尚存的平均不确定性

1. 平均互信息：I(X;Y)=H(X)-H(X|Y)

  平均从Y获得关于X的信息量

符号：bit/sig

互信息：I(x;y)==I(x)-I(x|y)=log[p(x|y)/p(x)]

含义：从事件y中获得关于事件x的信息

平均互信息与互信息关系类比熵和自信息关系

1. 联合平均互信息：I(X;YZ)=H(X)-H(X|YZ)

从YZ中获得的关于X的平均信息量

条件~：I(X;Y|Z)=H(X|Z)-H(X|YZ)

在z条件下，从Y 中获得的关于X的平均信息量

1. 互信息性质：

1. 对称性：I(x;y)=I(y;x)
2. 事件x、y统计独立时，I(x;y)=0
3. 互信息可正可负

1. 平均互信息性质

1. 非负性：I(X;Y)>=0（证明：熵的不增原理）

通信的意义——通过消息的传递可以获得信息

当I(X;Y)=0，全损信道：H(X)=H(X|Y)

1. 极值性：0≤I(X;Y)≤H(X)

通过信道传输获取的信息量不大于输出的信息量

当I(X;Y)=H(X)，无损信道：H(X|Y)=0

1. 对称性
2. 可加性：I(X;YZ)=I(X;Y)+I(X;Z|Y)
3. 链式法则：

I(X1X2…Xn;Y)=I(X1;Y)+I(X2;Y|X1)+I(X3;Y |X1X2)+…+I(Xn;Y |X1X2…Xn-1)

证明：I(X1X2…Xn;Y)=H(X1X2…Xn)-H(X1X2…Xn|Y)

再使用熵的链式法则

1. 凸性

H(X)是关于p（x）的上凸函数  ∩

I(X;Y)是关于p（x）的上凸函数

 若信道固定，则I(X;Y)有极大值

I(X;Y)是关于p（y|x）的下凸函数  ∪

若信源固定，则I(X;Y)有极小值

1. 全损信道：X、Y统计特征独立

（传输过程信息数据全部丢失）

H(X)=H(X|Y)   I(X;Y)=0

  无损：给定y，有唯一x对应

（无任何丢失）

H(X|Y)=0    I(X;Y)=H(X)

  有损：存在y，多个x对应

（部分丢失）

  无噪：给定x，唯一对应

     （传输过程无噪声干扰）

H(Y|X)=0    I(X;Y)=H(Y)

  有噪：存在x，两个以上y对应

     （有噪声干扰）

1. 信道容量：C=maxI(X;Y) bit/sig

输出分布等概时达到信道容量

1. 奇异码：码字相同；非奇异码
2. 定长编码：码集合每个码字长度same

   变长编码

1. 唯一可译码（码的任一有限长码序列只能被唯一的译成所对应的信源符号）判断标准

等长码：当为非奇异码时是~

变长码：当为前缀码，是~

1. 香农第一定理——无失真可变长信源编码定理（无失真信源编码的理论极限是信源的极限熵）

对于离散无记忆信源，若其熵为H，则存在一种可变长编码方式，使：

1. 无失真解码（无信息损失）
2. 平均码长L>=H
3. n趋于无穷，平均码长L无限接近H

1. 译码错误概率PE影响因素

1. 信道传输特性 （2）译码方法

2信道编码与译码

1. 目的：匹配信源信道，提高I(X,Y),降低错误率。
2. 任务：增加抗干扰能力-检错纠错
3. 方法：增加冗余，增强关联

3信道编译码分类：

1. 按照接收端情形：

检错码：能发现错误的码

纠错码：能发现错误并纠正错误的码

纠删码：能纠正删除错误的码

1. 按照发送端编码方式分类：

线性码：码字件满足线性关系，又分为循环码和非循环码。

非线性码：反之。

1. 信道编译码基本概念

1. 最小错误译码准则
2. 最大后验概率译码准则
3. 最大联合概率译码准则
4. 最大似然译码准则

效率：4>3>2>1

性能：1=2=3>4（如果输入等概则均等价）

1. 香农第二定理-有噪信道编码定理

若信道传输速率R不大于信道容量C，则存在一种码及译码规则使得当n足够大使译码错误概率PE任意小；若R>C，则找不到。

备注：香农第二定理告诉我们信道编码的理想极限，指出高效率和低错误率的编码存在。

证明采用随即编码思想和最大似然译码

1. 线性分组码

k维向量信息序列，n维向量码字，记为二元（n，k）线性码

线性分析：

满足f（ax+by)=af(x)+bf(y)

线性码判断：全0码字，码字封闭性

7.任一线性码与任一系统码等价。

系统码是生成矩阵前面k行k列变成单位矩阵

校验矩阵H=(AT,In-k),尾标为（n-k）*n

HcT（系统码的转置）=0

8.最小距离译码等价于最大似然译码

9.错误图样Ei的选取：每次选距离c1=（0...0)最近的向量。

标准阵列缺点：所需存储量大。