信息论与编码期末重点
第一章 绪论
信息特征：
未知性、有用性、可度量性、可处理性
通信系统的性能指标
有效性、可靠性、安全性和经济性
第二章 信源与信源熵
离散信源
离散信源是指在时间和表现形式上都是离散的（如计算机数字代码、文稿）。
连续信源与离散信源的区别：离散信源是离散的符号序列，而语音、图像等信号是连续的。
自信息量（Self-information）
自信息量计算公式：
自信息量I(xi) 的含义：
当事件xi发生以前，表示事件xi发生的不确定性；
当事件xi发生以后，表示事件xi所提供的信息量。
互信息量
一个随机变量对另一个随机变量提供了多少信息
信源熵（Entropy H(X))
信源中各个符号自信息量的数学期望，也称为平均不确定度/平均信息量/信源熵
信源熵衡量信源输出的不确定性。对于二元信源，若符号的概率相等（0.5），信源熵最大为1比特。
公式：H(X) = -Σ P(x) log2 P(x)
信源熵反映了信源的平均不确定性，熵越大，信息量越大。
第三章 信道与信道容量
信道容量与香农定理
信道分类
根据信道上有无噪声(干扰) ：
有噪(扰)信道
无噪(扰)信道
根据信道有无记忆特性
无记忆信道---输出仅与当前输入有关，与先前输入无关
有记忆信道---输出与当前及先前输入都有关
根据信道的参数与时间的关系
固定参数信道
时变参数信道
根据信道中所受噪声的种类
随机差错信道
突发差错信道
信道容量
给定信道时，确定理论上能传输的最大信息量，表征信道传送信息的最大能力
信道能够传输信息的最大速率、平均互信息的最大值
bit/信道符号
信源与信道匹配
信息传输率达到信道容量
香农定理（求信道容量/信息传输速率）：
香农定理给出了AWGN信道的信息传输极限。
带宽W一定时，信噪比SNR与信道容量Ct 成对数关系，SNR增大，Ct 就增大，但增大到一定程度后就趋于缓慢。
信源冗余度（Redundancy）
冗余度是信道容量与实际信息传输速率之间的差值。
相对熵率（信息效率）：
信源的冗余度：信息源中的 不确定性减少的部分，也可以理解为信息源输出的“可预测性”部分
冗余度分为绝对冗余和相对冗余。绝对冗余度是信道容量与信息传输速率的差异；
相对冗余度反映信息利用的效率。
信道冗余度
信道绝对冗余度
C - I(X;Y)
信道相对冗余度
1 - I(X;Y)/C
冗余度大：匹配程度低，信道的信息传递能力未被充分利用；
冗余度小：匹配程度高，信道的信息传递能力被较充分利用；
冗余度为零，完全匹配，即信源概率分布符合最佳输入分布。
离散无记忆信道（DMC）
行、列都是其他行列的同一组元素的不同排列
信道容量：
离散无记忆信道是输入和输出都是离散的信道，且输出仅与当前输入相关。
离散无记忆信源，一次扩展后的序列熵H(XL)等于信源熵H(X)，信源熵
二元对称信道（BSC）
BSC是一种常见的离散信道模型，具有对称错误概率。若错误概率 q = 0.5，信道容量为零。
口述重点：理解BSC信道，当错误概率为0.5时，信道失去意义，容量为零。
无噪无损离散信道的信道矩阵
单位阵：
信息与概率的关系
公式：I(x) = -log2 P(x)
口述重点：信息量与概率是反比的，概率越小的信息量越大，接近零的概率意味着信息量趋近于无穷大。
第四章 信息率失真函数
信息率失真函数 R(D)R(D)R(D) 表示在平均失真不超过 DDD 的前提下，对信源进行有损压缩所需的最小码率，反映了压缩效率与允许失真之间的最优权衡。
失真的大小，用一个量来表示，即失真函数d(xi，yj)
失真矩阵
第五章 信源编码
信源X通过二元信道传输，就必须把信源符号ai变换成0、1码符号序列，这个过程就是信源编码 。
定长码：码集中每个码字的码长都相同
变长码：码集中每个码字的码长长短不一
信源编码的理论边界
信源编码理论边界给出了编码方法的理论上限，使用概率匹配可以实现高效压缩。
公式：A_bar ≥ H(X) - ε（理论编码长度的下限）
分组码的定义
分组码是将符号序列分成多个固定长度的组，每个组被编码成一个码字。
口述重点：分组码的特性包括唯一性和及时性，确保编码过程的正确性和有效性。
第六章 信道编码
信源编码与信道编码
信源编码的目的：符号匹配+信息匹配
信源编码：目的是提高传输效率，压缩信源数据，去除冗余。
信道编码：目的是增加冗余，提高通信的可靠性，通过冗余信息对抗噪声干扰。
| 特点 | 信源编码 | 信道编码 |
|---|---|---|
| 目的 | 压缩数据，减少冗余信息 | 保护数据，减少传输错误 |
| 核心思想 | 通过变长编码或其他方法减少冗余 | 通过引入冗余来纠正错误 |
| 应用 | 数据压缩、文件存储、传输 | 错误检测与纠正，确保数据的可靠传输 |
| 冗余的角色 | 消除冗余，减少数据量 | 增加冗余，确保数据可靠性 |
| 常见算法 | 霍夫曼编码、算术编码、LZ压缩等 | 海明编码、卷积码、Turbo码等 |