创建网站流程图百度一下网页版

第一章 绪论

信息特征：

未知性、有用性、可度量性、可处理性

通信系统的性能指标

有效性、可靠性、安全性和经济性

第二章 信源与信源熵

离散信源

离散信源是指在时间和表现形式上都是离散的（如计算机数字代码、文稿）。
连续信源与离散信源的区别：离散信源是离散的符号序列，而语音、图像等信号是连续的。

自信息量（Self-information）

自信息量计算公式：

自信息量I(xi) 的含义：

当事件xi发生以前，表示事件xi发生的不确定性；

当事件xi发生以后，表示事件xi所提供的信息量。

互信息量

一个随机变量对另一个随机变量提供了多少信息

信源熵（Entropy H(X))

信源中各个符号自信息量的数学期望，也称为平均不确定度/平均信息量/信源熵

信源熵衡量信源输出的不确定性。对于二元信源，若符号的概率相等（0.5），信源熵最大为1比特。
公式：H(X) = -Σ P(x) log2 P(x)

信源熵反映了信源的平均不确定性，熵越大，信息量越大。

第三章 信道与信道容量

信道容量与香农定理

信道分类

根据信道上有无噪声(干扰) ：

有噪(扰)信道

无噪(扰)信道

根据信道有无记忆特性

无记忆信道---输出仅与当前输入有关，与先前输入无关

有记忆信道---输出与当前及先前输入都有关

根据信道的参数与时间的关系

固定参数信道

时变参数信道

根据信道中所受噪声的种类

随机差错信道

突发差错信道

信道容量

给定信道时，确定理论上能传输的最大信息量，表征信道传送信息的最大能力

信道能够传输信息的最大速率、平均互信息的最大值

bit/信道符号

信源与信道匹配

信息传输率达到信道容量

香农定理（求信道容量/信息传输速率）：

香农定理给出了AWGN信道的信息传输极限。

带宽W一定时，信噪比SNR与信道容量Ct 成对数关系，SNR增大，Ct 就增大，但增大到一定程度后就趋于缓慢。

信源冗余度（Redundancy）

冗余度是信道容量与实际信息传输速率之间的差值。

相对熵率（信息效率）：

信源的冗余度：信息源中的 不确定性减少的部分，也可以理解为信息源输出的“可预测性”部分

冗余度分为绝对冗余和相对冗余。绝对冗余度是信道容量与信息传输速率的差异；

相对冗余度反映信息利用的效率。

信道冗余度

信道绝对冗余度

C - I(X;Y)

信道相对冗余度

1 - I(X;Y)/C

冗余度大：匹配程度低，信道的信息传递能力未被充分利用；
冗余度小：匹配程度高，信道的信息传递能力被较充分利用；
冗余度为零，完全匹配，即信源概率分布符合最佳输入分布。

离散无记忆信道（DMC）

行、列都是其他行列的同一组元素的不同排列

信道容量：

离散无记忆信道是输入和输出都是离散的信道，且输出仅与当前输入相关。

离散无记忆信源，一次扩展后的序列熵H(XL)等于信源熵H(X)，信源熵

二元对称信道（BSC）

BSC是一种常见的离散信道模型，具有对称错误概率。若错误概率 q = 0.5，信道容量为零。
口述重点：理解BSC信道，当错误概率为0.5时，信道失去意义，容量为零。

无噪无损离散信道的信道矩阵

单位阵：

信息与概率的关系

公式：I(x) = -log2 P(x)
口述重点：信息量与概率是反比的，概率越小的信息量越大，接近零的概率意味着信息量趋近于无穷大。

第四章 信息率失真函数

信息率失真函数 R(D)R(D)R(D) 表示在平均失真不超过 DDD 的前提下，对信源进行有损压缩所需的最小码率，反映了压缩效率与允许失真之间的最优权衡。

失真的大小，用一个量来表示，即失真函数d(xi，yj)

失真矩阵

第五章 信源编码

信源X通过二元信道传输，就必须把信源符号ai变换成0、1码符号序列，这个过程就是信源编码 。

定长码：码集中每个码字的码长都相同

变长码：码集中每个码字的码长长短不一

信源编码的理论边界

信源编码理论边界给出了编码方法的理论上限，使用概率匹配可以实现高效压缩。
公式：A_bar ≥ H(X) - ε（理论编码长度的下限）

分组码的定义

分组码是将符号序列分成多个固定长度的组，每个组被编码成一个码字。
口述重点：分组码的特性包括唯一性和及时性，确保编码过程的正确性和有效性。

第六章 信道编码

信源编码与信道编码

信源编码的目的：符号匹配+信息匹配

信源编码：目的是提高传输效率，压缩信源数据，去除冗余。
信道编码：目的是增加冗余，提高通信的可靠性，通过冗余信息对抗噪声干扰。

特点	信源编码	信道编码
目的	压缩数据，减少冗余信息	保护数据，减少传输错误
核心思想	通过变长编码或其他方法减少冗余	通过引入冗余来纠正错误
应用	数据压缩、文件存储、传输	错误检测与纠正，确保数据的可靠传输
冗余的角色	消除冗余，减少数据量	增加冗余，确保数据可靠性
常见算法	霍夫曼编码、算术编码、LZ压缩等	海明编码、卷积码、Turbo码等