决策树算法基础：信息熵相关知识

本文对信息熵等概念进行系统梳理，为后续学习决策树系列算法做好准备

挖坑待填：ID3、C4.5、CART、随机森林、LightGBM

相关文章

• 理解决策树模型原理，看这30页PPT就够了 - 数说新语的文章 - 知乎https://zhuanlan.zhihu.com/p/108433962
• 【机器学习】决策树（上）——ID3、C4.5、CART（非常详细） - 阿泽的文章 - 知乎https://zhuanlan.zhihu.com/p/85731206

一、信息熵

1.1、度量公式

【信息量】

如何量化信息？理想的度量标准应符合以下直觉：

• 信息量不能为负数：任何事件都是”有信息的“
• 信息量之间可以相加：已知事件A、事件B，两者的信息量可以累加
• 信息量应该随着概率单调递减：越容易发生（概率大小）的事件信息量越少，例如”明天会刮台风“相比于”明天太阳从东边升起“，就包含更多的信息
• 信息量应该连续依赖于概率：事件A、事件B发生概率相近，两者的信息量也接近

1928年，哈特莱给出了信息量的度量公式（满足以上要求）：事件发生概率的倒数的对数（底数为2）
$$I=lo{g}_2\frac{1}{P}=-lo{g}_{2}P$$

【信息熵】

信息熵是衡量一个概率分布所蕴含的“不确定性”的期望值，综合考虑了事件发生概率及事件的信息量，公式如下（对于离散型变量）：
$$H(I)=-\sum p_{i}lo{g}_2{p}_i$$

• $-p_{i}lo{g}_2{p}_i$为事件发生概率与事件信息量的乘积，表示单个事件$i$发生时，对整体不确定性的“平均贡献”
• $-\sum p_{i}lo{g}_2{p}_i$为所有可能事件$i$的贡献之和，表示整个随机变量$I$的平均不确定性，即信息熵$H(I)$

$H(I)\ge 0$，且值越大，说明不确定性越高（越“混乱”）

• 最小值：仅有1种事件会发生，即$p_i=1$，其余为0，此时$H(I)=0$（规定 $0lo{g}_{2}0=0$）

• 最大值：所有事件发生的概率相等，即$p_i=\frac{1}{N}$，此时$H(I)=lo{g}_{2}N$

• 举例说明：袋子中共3个球（可能为红绿蓝3种颜色），取一次球，计算所取球颜色的信息熵

  • 最小值：若袋子中只有红色球，则$p_{red}=1,H(I)=0$
  • 最大值：若袋子中红绿蓝球各一个，则$H(I)=-3\ast \frac{1}{3}\ast lo{g}_2\frac{1}{3}=lo{g}_{2}3$

1.2、最大值证明

对于$H(I)=-{\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i$，满足$0\le p_i\le 1,{\sum }_{i=1}^N{p}_i=1$，则$H(I)$的最大值为$lo{g}_{2}N$

1.2.1、拉格朗日乘子法

利用拉格朗日乘子法构造函数：$G(p_i,\lambda )=-{\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i+\lambda ({\sum }_{i=1}^N{p}_i-1)$

分别对$p_i$和$\lambda$求偏导：$\frac{\partial G}{\partial p_i}=-lo{g}_2{p}_i-1+\lambda ,\frac{\partial G}{\partial \lambda }={\sum }_{i=1}^N{p}_i-1$

令$\frac{\partial G}{\partial p_i}=0$且$\frac{\partial G}{\partial \lambda }=0$，则$p_i=2^{\lambda -1},{\sum }_{i=1}^N{p}_i=1$

即$p_1=p_2=...p_N=\frac{1}{N}$时，函数$H(I)$为极值，因为$H(I)$为凹函数，则为最大值（$-{\sum }_{i=1}^N\frac{1}{N}lo{g}_2\frac{1}{N}=-lo{g}_2\frac{1}{N}=lo{g}_{2}N$）

• 说明：当某个$p_i=1$，其余为0时，为边界点，此时$H(X)=0$（规定 $0lo{g}_{2}0=0$），小于$lo{g}_{2}N$

拉格朗日乘子法相关链接（几何意义）：

• 如何理解拉格朗日乘子法？ - 马同学的回答 - 知乎https://www.zhihu.com/question/38586401/answer/457058079

• 如何理解拉格朗日乘子法？ - 戏言玩家的回答 - 知乎https://www.zhihu.com/question/38586401/answer/105588901

• 如何理解拉格朗日乘子法？ - 卢健龙的回答 - 知乎https://www.zhihu.com/question/38586401/answer/105273125

1.2.2、基于KL散度的非负性

$$D_{KL}(P||Q)=\sum _{i=1}^N{p}_{i}lo{g}_2(\frac{p_i}{q_i})\ge 0$$

• 其中，$p_i$、$q_i$是分布$P$和$Q$在事件$i$上的概率

设$Q$为均匀分布，即$q_i=\frac{1}{N}$

则$D_{KL}(P||Q)={\sum }_{i=1}^N{p}_{i}lo{g}_2(\frac{p_i}{1/N})={\sum }_{i=1}^N{p}_{i}lo{g}_2(p_{i}N)={\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i+{\sum }_{i=1}^N{p}_{i}lo{g}_{2}N={\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i+lo{g}_{2}N{\sum }_{i=1}^N{p}_i$

因为${\sum }_{i=1}^N{p}_i=1$，所以$D_{KL}(P||Q)={\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i+lo{g}_{2}N$

应用非负性，则$D_{KL}(P||Q)={\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i+lo{g}_{2}N\ge 0$

可得$-{\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i\le lo{g}_{2}N$

因此 $H(I)\le lo{g}_{2}N$ 得证

等号成立，当且仅当$\forall i,p_i=q_i=\frac{1}{N}$

二、交叉熵与KL散度（相对熵）

2.1、交叉熵

信息熵是衡量一个概率分布所蕴含的“不确定性”的期望值，交叉熵就是用一个预测分布度量真实分布所蕴含的“不确定性”的期望值，即在真实分布$P$的情况下，用预测分布$Q$度量信息量时的平均信息量。对于离散随机变量，其公式如下：

$$H(P,Q)=-\sum _{i=1}^N{p}_{i}lo{g}_2{q}_i$$

• 其中，$p_i$、$q_i$是分布$P$和$Q$在事件$i$上的概率

举例说明（详见文章1中 “2.3 熵的估计部分” ）：预测天气

• 天气的真实概率分布$P$未知，使用模型$Q$进行预测（预估的概率分布）
• 若只考虑模型$P$，信息熵$H(P)$表示天气预测所需的平均信息量（也是最低信息量）；
• 若只考虑模型$Q$，信息熵$H(Q)$式中的“概率”及“信息量”均“未知”
• 假设经过观测后，得到了真实概率分布$P$（将观测分布作为真实分布，详见 文章3 对于最大似然估计与交叉熵的说明），则$H(P,Q)$表示真实分布$P$的情况下，用预测分布$Q$预测天气时，所需的平均信息量

性质：$H(P,Q)\ge H(P)$

• 等号成立当且仅当$P=Q$，即$\forall i,p_i=q_i$（同样可采用拉格朗日乘子法证明）
• 可以认为信息熵$H(P)$表示天气预测所需的最低信息量，而交叉熵$H(P,Q)$表示基于预测模型$Q$要付出的信息量，额外付出的信息量就是相对熵$D_{KL}(P||Q)$

【交叉熵相关文章】

1. 一文搞懂熵(Entropy),交叉熵(Cross-Entropy) - 将为帅的文章 - 知乎https://zhuanlan.zhihu.com/p/149186719
2. 深入理解KL散度（番外篇一） - zjc的文章 - 知乎https://zhuanlan.zhihu.com/p/1923892456325380081
3. 为什么交叉熵（cross-entropy）可以用于计算代价？ - 灵剑的回答 - 知乎https://www.zhihu.com/question/65288314/answer/849294209
4. 说明：文章3中关于$P$、$Q$、观测分布的讨论
   • 文章中观点：对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率
   • 疑问：很多文章里都把对数里面的分布Q当作预测的分布，对数外面的分布P当作真实分布，那么是否可以把观测分布当作真实分布？
   • 回答：对于最优化问题，我们是认为优化完成的时候模型输出的恰好就是真实的概率，这是我们期望得到的结果。于是我们认为对应似然值越高说明模型效果越好，所以优化目标就变成让似然值最高，也就是让交叉熵尽量低。

2.2、KL散度（相对熵）

2.2.1、定义及性质

KL散度（Kullback-Leibler Divergence），也称相对熵（Relative Entropy），可以度量两个概率分布$P$和$Q$的差异。对于离散随机变量（包含$N$个事件），其公式如下：
$$D_{KL}(P||Q)=\sum _{i=1}^N{p}_{i}lo{g}_2(\frac{p_i}{q_i})$$

• 其中，$p_i$、$q_i$是分布$P$和$Q$在事件$i$上的概率
• $lo{g}_2\frac{p_i}{q_i}=lo{g}_2{p}_i-lo{g}_2{q}_i$，可以认为是事件$i$在不同分布下的信息量之差，如果把$P$当作真实分布，$Q$当作拟合分布，则该式表示对于事件$i$，模型$Q$相对于真实情况$P$的预测偏差所带来的信息损失
• $D_{KL}(P||Q)={\sum }_{i=1}^N{p}_{i}lo{g}_2(\frac{p_i}{q_i})={\sum }_{i=1}^N{p}_i(lo{g}_2{p}_i-lo{g}_2{q}_i)$，如果把$P$当作真实分布，$Q$当作拟合分布，则该式表示用分布$Q$拟合分布$P$时，分布$P$所有可能发生事件的信息损失的期望值，即平均信息损失
• $D_{KL}(P||Q)={\sum }_{i=1}^N{p}_i(lo{g}_2{p}_i-lo{g}_2{q}_i)={\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i-{\sum }_{i=1}^N{p}_{i}lo{g}_2{q}_i=-{\sum }_{i=1}^N{p}_{i}lo{g}_2{q}_i-(-{\sum }_{i=1}^N{p}_{i}lo{g}_2{p}_i)=H(P,Q)-H(P)$
  • $D_{KL}(P||Q)=H(P,Q)-H(P)$，散度等于交叉熵与信息熵之差，如果把$P$当作真实分布，$Q$当作拟合分布，则散度表示用分布$Q$近似分布$P$时多付出的冗余信息量，直接量化了两个分布的差异

非负性：$D_{KL}(P||Q)\ge 0$

• 等号成立当且仅当$P=Q$，即$\forall i,p_i=q_i$
• KL散度用来衡量两个分布之间的差异程度，两者差异越小，KL散度越小，当两分布一致时，KL散度为0

不对称性：$D_{KL}(P||Q)\ne D_{KL}(Q||P)$

【KL散度不对称性相关文章】

1. 深入理解 KL 散度（Kullback-Leibler Divergence）：从直觉、数学到前沿应用的全方位解析 - Laurie的文章 - 知乎https://zhuanlan.zhihu.com/p/1950257135775642370

2. 机器学习中的散度 - Taylor Wu的文章 - 知乎https://zhuanlan.zhihu.com/p/45131536

3. 深入理解KL散度（番外篇一） - zjc的文章 - 知乎https://zhuanlan.zhihu.com/p/1923892456325380081

4. 说明：可将文章1中 “4. 关键特性：为何它不是“距离”？” 所举例子与文章2中 “1. 熵 vs. KL-散度” 的示例图对照理解

2.2.2、非负性证明

说明：使用Jensen不等式证明非负性

已知$D_{KL}(P||Q)={\sum }_{i=1}^N{p}_{i}lo{g}_2(\frac{p_i}{q_i})$，即$D_{KL}(P||Q)=-{\sum }_{i=1}^N{p}_{i}lo{g}_2(\frac{q_i}{p_i})$

已知对数函数是凹函数（二阶导数为负），满足Jensen不等式，即$lo{g}_2({\sum }_{i=1}^n{\lambda }_i{x}_i)\ge {\sum }_{i=1}^n{\lambda }_{i}lo{g}_2(x_i)$

将$p_i$看作${\lambda }_i$，$\frac{q_i}{p_i}$看作$x_i$，其中，$\forall p_i,p_i\ge 0$且${\sum }_{i=1}^n{p}_i=1$（另外，${\sum }_{i=1}^n{q}_i=1$）

则$D_{KL}(P||Q)=-{\sum }_{i=1}^N{p}_{i}lo{g}_2(\frac{q_i}{p_i})\ge lo{g}_2({\sum }_{i=1}^n{p}_i\frac{q_i}{p_i})=lo{g}_2({\sum }_{i=1}^n{q}_i)=0$，得证

$D_{KL}(P||Q)=0$，当且仅当所有$\frac{q_i}{p_i}=c$，即所有的$q_i=p_i=\frac{1}{N}$

2.3、Jensen不等式

2.3.1、凸函数与凹函数

【定义】

函数$f$是定义区间上凸函数：如果对于区间内任意两点$x_1$、$x_2$和任意实数$\lambda \in [0,1]$，都有以下不等式成立：
$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$
【说明】

• 不等式中的“$\le$”换成“$<$”，则称函数为严格凸函数

• $\lambda x_1+(1-\lambda )x_2$：表示$x_1$、$x_2$的一个凸组合，实际上就是连接$x_1$、$x_2$的线段上的任意一点

• $\lambda f(x_1)+(1-\lambda )f(x_2)$：表示函数值$f(x_1)$、$f(x_2)$的一个凸组合，实际上就是弦（两点连线）上对应点的值

【凸组合说明】

$\lambda x_1+(1-\lambda )x_2=x_2-\lambda (x_2-x_1)$

• $\lambda =0$时：$x_2-\lambda (x_2-x_1)=x_2$
• $\lambda =1$时：$x_2-\lambda (x_2-x_1)=x_1$
• $0<\lambda <1$时：$x_2-\lambda (x_2-x_1)$表示$x_1$、$x_2$之间的任意一点
• $\lambda$越大，点越靠近$x_1$（为方便理解，可以$0<x_1<x_2$为例进行分析，此时$x_2-x_1$表示两点之间的距离）

【几何意义】

凸函数意味着弦始终在函数图像的上方

2.3.2、Jensen不等式

函数$\varphi$是定义区间上的凹函数：对于任意点$x_1,x_2,...,x_n\in I$和权重${\lambda }_1,{\lambda }_2,...,{\lambda }_n\ge 0$满足${\sum }_{i=1}^n{\lambda }_i=1$，有：
$$\varphi (\sum _{i=1}^n{\lambda }_i{x}_i)\ge \sum _{i=1}^n{\lambda }_i\varphi (x_i)$$
若函数$\varphi$是严格凹函数，则等号成立当且仅当所有$x_i$（对应权重${\lambda }_i>0$）完全相等，即$x_1=x_2=...x_n$

【取等条件证明】

【充分性】：若所有$x_i$相等（设$x_i=c$），则$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)={\sum }_{i=1}^n{\lambda }_i\varphi (x_i)$

若所有$x_i$相等（设$x_i=c$），则：

• $\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)=\varphi (c{\sum }_{i=1}^n{\lambda }_i)=\varphi (c)$

• ${\sum }_{i=1}^n{\lambda }_i\varphi (x_i)={\sum }_{i=1}^n{\lambda }_i\varphi (c)=\varphi (c)$

• 等式成立

【必要性】：若$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)={\sum }_{i=1}^n{\lambda }_i\varphi (x_i)$，则所有$x_i$相等

已知条件：函数$\varphi$是严格凹函数，即$\varphi (\lambda x_1+(1-\lambda )x_2)>\lambda \varphi (x_1)+(1-\lambda )\varphi (x_2)$

假设$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)={\sum }_{i=1}^n{\lambda }_i\varphi (x_i)$，但存在$x_j\ne x_k$（对应权重${\lambda }_j>0,{\lambda }_k>0$），将点集分为两组：

• 组A：与$x_j$相同的点（权重和$\alpha ={\sum }_{i\in A}{\lambda }_i>0$）

• 组B：其他点（权重和$\beta ={\sum }_{i\in B}{\lambda }_i>0$含$x_k$），$\alpha +\beta =1$

• 两组的加权平均值分别记为：$y=\frac{{\sum }_{i\in A}{\lambda }_i{x}_i}{\alpha }=x_j$，$z=\frac{{\sum }_{i\in B}{\lambda }_i{x}_i}{\beta }$

• 则$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)=\varphi (\alpha y+\beta z)$，为严格凹函数，当$y\ne z$时可推出$\varphi (\alpha y+\beta z)>\alpha \varphi (y)+\beta \varphi (z)$

• 则${\sum }_{i=1}^n{\lambda }_i\varphi (x_i)={\sum }_{i\in A}{\lambda }_i\varphi (x_i)+{\sum }_{i\in B}{\lambda }_i\varphi (x_i)\le \alpha \varphi (y)+\varphi ({\sum }_{i\in B}\lambda x_i)=\alpha \varphi (y)+\beta \varphi (z)$

• 所以：$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)=\varphi (\alpha y+\beta z)>\alpha \varphi (y)+\beta \varphi (z)\ge {\sum }_{i=1}^n{\lambda }_i\varphi (x_i)$

因为$\varphi ({\sum }_{i=1}^n{\lambda }_i{x}_i)={\sum }_{i=1}^n{\lambda }_i\varphi (x_i)$

• 可得$y=z$，即$\varphi (\alpha y+\beta z)=\alpha \varphi (y)+\beta \varphi (z)$
• 可得${\sum }_{i\in B}{\lambda }_i\varphi (x_i)=\varphi ({\sum }_{i\in B}\lambda x_i)$，对组$B$中的元素继续划分组$A$、组$B$，可证明所有$x_i$相等

三、其他度量指标

3.1、条件熵

对于随机变量$X,Y$，条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性
$$H(Y|X)=\sum _{x\in X}{p}_{x}H(Y|X=x)=-\sum _{x\in X}{p}_x\sum _{y\in Y}{p}_{y|x}lo{g}_2{p}_{y|x}$$

举例说明：

• 对于样本数据集$D$，样本个数为$|D|$，可分为$K$个类别，$|C_k|$表示类$C_k$的样本个数，则${\sum }_{k=1}^K{C}_k=|D|$

• 则数据集的信息熵$H(D)=-{\sum }_{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$

• 设$A$为数据集$D$的某一个特征变量，有$n$个不同的取值$a_1,a_2,...,a_n$，根据特征$A$的取值，将$D$划分为$n$个子集$D_1,D_2,...,D_n$，$|D_i|$表示子集$D_i$的样本个数，则有${\sum }_{i=1}^n|D_i|=|D|$

• 记子集中$D_i$属于类$C_k$的样本集合为$D_{ik}$，则$|D_{ik}|$为$D_{ik}$的样本个数

• 则针对特征$A$，数据集$D$的条件熵$H(D|A)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$，表示在已知特征$A$的条件下$D$的不确定性

【条件熵相关文章】

通俗理解条件熵 - 忆臻的文章 - 知乎https://zhuanlan.zhihu.com/p/26551798

3.2、信息增益及信息增益率

信息增益$G(D,A)=H(D)-H(D|A)$，表示已知特征$A$对于减少$D$未知量的贡献

• 信息增益越大表示使用特征$A$来划分所获得的“纯度提升越大”
• 缺点：若根据信息增益的大小确定分类特征则偏向于可取值数较多的特征，例如“编号”类的特征使得条件熵取0，信息增益最大

利用信息增益率可以克服信息增益的缺点，其公式为：
$$\begin{gathered} G_R=\frac{G(D,A)}{H_A(D)} \\ {H}_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|} \end{gathered}$$
$H_A(D)$表示特征$A$的不确定性（“不纯度”），不同取值的分布越分散，该值越大，因此可以修正“偏向于可取值数较多的特征”的缺陷，但随之而来的是对可取值较少的特征有所偏好（分母越小，整体越大）

3.3、基尼指数

与信息熵类似，基尼指数也是度量随机变量不纯度的指标，对于离散随机变量，其公式为：
$$Gini(I)=\sum _{i=1}^N{p}_i(1-p_i)=1-\sum _{i=1}^N{p}_i^2$$
$0\le Gini(I)\le 1$，且值越大，说明不确定性越高（越“混乱”）

• 最小值：仅有1种事件会发生，即$p_i=1$，其余为0，此时$Gini(I)=0$
• 最大值：所有事件发生的概率相等，即$p_i=\frac{1}{N}$，此时$Gini(I)=1-\frac{1}{N^2}$
• 信息熵的计算公式中包含大量耗时的对数运算，基尼指数在简化公式的同时性能也接近熵模型
  • 对于函数$lo{g}_2(x)$，一阶泰勒展开为$lo{g}_2(x)=-1+x+o(x)$
  • 所以$H(X)=-\sum p_{x}lo{g}_2{p}_x\approx \sum p_x(1-p_x)$，即基尼指数可以理解为熵模型的一阶泰勒展开

对于样本数据集$D$，$Gini(D)={\sum }_{k=1}^K\frac{|C_k|}{|D|}(1-\frac{|C_k|}{|D|})$

• 基尼指数反映了从数据集中随机抽取两个样本，其类别标记不一致的概率。因此基尼指数越小，则数据集纯度越高。

• 基尼指数偏向于特征值较多的特征，类似信息增益

附上一张二分类情况下，信息熵、基尼指数、分类误差的对比图

在分析Gini系数，熵，分类误差率时。其中，分类误差率具体是什么，为什么一定小于等于0.5? - 曹佳鑫的回答 - 知乎https://www.zhihu.com/question/351016937/answer/859497058