从零开始学AI——12.1

前言

……说我字数太多，分两部分

第十二章

本章比较理论，主要说的是凭什么相信机器学习，他为什么能给出一个好的结果：本质是研究泛化误差问题

12.1 基础知识

我们先假设有一个样本集$D=\{(x_1,y_1),\dots ,(x_m,y_m)\}$，其中所有样本都是独立同分布地从分布$\mathcal{D}$中采样得到的。这里每个$x_i$属于输入空间$\mathcal{X}$，每个$y_i$属于输出空间$\mathcal{Y}$。在接下来的讨论中，如果没有特别说明，我们默认研究的是二分类问题。

通过机器学习算法，我们得到了一个学习器$h$，它实际上是一个从输入空间到输出空间的映射，即$h:\mathcal{X}\to \mathcal{Y}$。这个学习器的泛化误差定义为：
$$E(h;\mathcal{D})=P_{x\sim \mathcal{D}}(h(x)\ne y)$$
这个式子表示当输入$x$服从分布$\mathcal{D}$时，学习器$h$预测错误的概率。

同时，基于我们已有的样本集$D$，可以计算出经验误差（也称为训练误差）：
$$\hat{E}(h;\mathcal{D})=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(h(x_i)\ne y_i)$$
这里$\mathbb{I}(\cdot )$是指示函数，当括号内条件成立时取值为1，否则为0。由于样本集$D$是从$\mathcal{D}$中独立同分布采样得到的，因此经验误差的期望等于泛化误差。当上下文明确时，我们可以省略误差表示中的$\mathcal{D}$。

上述内容我们应该是很熟悉的了。现在需要明确的是，我们不期望学习到的模型$h$能够完全匹配宇宙中客观存在的完美真理函数$c$（也称概念concept）。我们只要求$h$和$c$之间的误差率足够小，具体来说就是要求泛化误差不超过一个预先设定的很小正值$ϵ$，即满足$E(h)\le ϵ$。
对于模型$h$在样本集$D$上的表现，如果经验误差$\hat{E}(h;D)=0$，我们就说$h$与$D$一致；否则称为不一致。此外，对于任意两个模型$h_1$和$h_2$，我们可以通过定义它们的不合度来衡量它们之间的差异：
$$d(h_1,h_2)=P_{x\sim \mathcal{D}}(h_1(x)\ne h_2(x))$$
这个不合度度量了两个模型在分布$\mathcal{D}$下产生不同预测的概率。

接下来，我们引入几个常用的不等式：

不想纠结证明的朋友可以只记结论

Jensen不等式：设$f(x)$是任意凸函数，则有
$$f(\mathbb{E}(x))\le \mathbb{E}(f(x))$$
对于一个凸函数$f(x)$，找一个特殊点$\mu =\mathbb{E}(x)$。根据凸函数的定义，在点$\mu$处存在一条支撑线（支撑超平面），使得对于所有$x$，都有：
$$f(x)\ge f(\mu )+c(x-\mu )$$
其中$c$是支撑线在$\mu$处的斜率。对上述不等式两边同时取数学期望：
$$\mathbb{E}[f(x)]\ge \mathbb{E}[f(\mu )+c(x-\mu )]$$
将右边展开：

1. 第一项$f(\mu )$是常数，其期望就是它本身：$\mathbb{E}[f(\mu )]=f(\mu )=f(\mathbb{E}[x])$
2. 第二项$c(x-\mu )$可以分解为：
   $$\mathbb{E}[c(x-\mu )]=c\mathbb{E}[x-\mu ]=c(\mathbb{E}[x]-\mu )=c(\mu -\mu )=0$$

因此不等式右边简化为$f(\mathbb{E}[x])$，从而得到：
$$\mathbb{E}[f(x)]\ge f(\mathbb{E}[x])$$
证毕。
Hoeffding不等式：设$x_1,x_2,\dots ,x_m$为$m$个独立随机变量，且满足$x_i\in [0,1]$，则对于任意$ϵ>0$，有
$$P\left(\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\ge ϵ\right)\le \exp (-2m{ϵ}^2)$$
同时
$$P\left(\left|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\right|\ge ϵ\right)\le 2\exp (-2m{ϵ}^2)$$

首先考虑第一个不等式。令$S_m={\sum }_{i=1}^m{x}_i$，将不等式改写为：
$$P\left(\frac{S_m}{m}-\frac{\mathbb{E}[S_m]}{m}\ge ϵ\right)\le \exp (-2m{ϵ}^2)$$

对不等式左边进行如下变形：
$$\begin{array}{rl}& P\left(\frac{S_m}{m}-\frac{\mathbb{E}[S_m]}{m}\ge ϵ\right)\\ & =P\left(S_m-\mathbb{E}[S_m]\ge mϵ\right)\\ & =P\left(e^{s(S_m-\mathbb{E}[S_m])}\ge e^{smϵ}\right)\\ & \le \frac{\mathbb{E}[e^{s(S_m-\mathbb{E}[S_m])}]}{e^{smϵ}}\end{array}$$
其中：

• 第二步引入了任意正数$s>0$，这是为了后续应用马尔可夫不等式做准备。
• 第三步应用了马尔可夫不等式：对于非负随机变量$Y=e^{s(S_m-\mathbb{E}[S_m])}$，有$P(Y\ge a)\le \frac{\mathbb{E}[Y]}{a}$。

接下来处理分子部分$\mathbb{E}[e^{s(S_m-\mathbb{E}[S_m])}]$。设$z_i=x_i-\mathbb{E}[x_i]$，则$S_m-\mathbb{E}[S_m]={\sum }_{i=1}^m{z}_i$。由于$x_i$相互独立，$z_i$也相互独立，因此：
$$\begin{array}{rl}\mathbb{E}[e^{s(S_m-\mathbb{E}[S_m])}]& =\mathbb{E}[e^{s{\sum }_{i=1}^m{z}_i}]\\ & =\prod _{i=1}^m\mathbb{E}[e^{s{z}_i}]\end{array}$$

为了给出$\mathbb{E}[e^{s{z}_i}]$的上界，我们使用Hoeffding引理：
若随机变量$Z$满足$\mathbb{E}[Z]=0$且$Z\in [a,b]$，则对于任意$s>0$，有：
$$\mathbb{E}[e^{sZ}]\le \exp \left(\frac{s^2(b-a{)}^2}{8}\right)$$
对于$z_i=x_i-\mathbb{E}[x_i]$，由于$x_i\in [0,1]$，可得$z_i\in [-\mathbb{E}[x_i],1-\mathbb{E}[x_i]]$，区间长度为$1$，且$\mathbb{E}[z_i]=0$。因此，应用Hoeffding引理得到：
$$\mathbb{E}[e^{s{z}_i}]\le \exp \left(\frac{s^2}{8}\right)$$

将其代回分子部分：
$$\prod _{i=1}^m\mathbb{E}[e^{s{z}_i}]\le \prod _{i=1}^m\exp \left(\frac{s^2}{8}\right)=\exp \left(\frac{m{s}^2}{8}\right)$$

于是不等式变为：
$$P\left(\frac{S_m}{m}-\frac{\mathbb{E}[S_m]}{m}\ge ϵ\right)\le \frac{\exp \left(\frac{m{s}^2}{8}\right)}{e^{smϵ}}=\exp \left(\frac{m{s}^2}{8}-smϵ\right)$$

由于该不等式对所有$s>0$成立，我们选择$s$使得右侧指数最小。对$\frac{s^2}{8}-sϵ$关于$s$求导并令导数为零，得到最优$s=4ϵ$。将其代入，得到最小上界：
$$\exp \left(\frac{m(4ϵ{)}^2}{8}-4ϵmϵ\right)=\exp (-2m{ϵ}^2)$$
因此：
$$P\left(\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\ge ϵ\right)\le \exp (-2m{ϵ}^2)$$

证明第二个不等式：

对于绝对值形式的不等式，可以将其拆分为两个事件：
$$\left\{\left|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\right|\ge ϵ\right\}=\left\{\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\ge ϵ\right\}\cup \left\{\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\le -ϵ\right\}$$

由概率的并集不等式$P(A\cup B)\le P(A)+P(B)$，有：
$$P\left(\left|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\right|\ge ϵ\right)\le P\left(\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\ge ϵ\right)+P\left(\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]-\frac{1}{m}\sum _{i=1}^m{x}_i\ge ϵ\right)$$

第一项的上界已证明为$\exp (-2m{ϵ}^2)$。对于第二项，可以通过变量替换$x_i\to -x_i$，由于$x_i\in [0,1]$的性质和独立性保持不变，其概率上界同样为$\exp (-2m{ϵ}^2)$。因此：
$$P\left(\left|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}[x_i]\right|\ge ϵ\right)\le 2\exp (-2m{ϵ}^2)$$
证毕。
McDiarmid不等式：

设 $x_1,x_2,\dots ,x_m$ 是 $m$ 个独立的随机变量，若函数 $f$ 满足：对于任意 $1⩽i⩽m$ 和任意的 $x_1,\dots ,x_m,x_i^{\prime }$，都有
$$\left|f(x_1,\dots ,x_m)-f(x_1,\dots ,x_{i-1},x_i^{\prime },x_{i+1},\dots ,x_m)\right|⩽c_i,$$
这意味着当只改变第 $i$ 个输入变量时，函数值的变化幅度不超过 $c_i$。那么对于任意 $ϵ>0$，有
$$P\left(f(x_1,\dots ,x_m)-\mathbb{E}\left[f(x_1,\dots ,x_m)\right]⩾ϵ\right)⩽\exp \left(\frac{-2{ϵ}^2}{{\sum }_{i=1}^m{c}_i^2}\right),$$
以及
$$P\left(\left|f\left(x_1,\dots ,x_m\right)-\mathbb{E}\left[f(x_1,\dots ,x_m)\right]\right|⩾ϵ\right)⩽2\exp \left(\frac{-2{ϵ}^2}{{\sum }_{i=1}^m{c}_i^2}\right).$$

为了简化书写，记 $X=(x_1,\dots ,x_m)$，并定义 $Z=f(X)-\mathbb{E}[f(X)]$。我们引入条件期望的记号：${\mathbb{E}}_i[\cdot ]$ 表示对变量 {xi,xi+1,…,xm}\{x_i, x_{i+1}, \ldots, x_m\}{xi​,xi+1​,…,xm​} 取期望，而将 {x1,…,xi−1}\{x_1, \ldots, x_{i-1}\}{x1​,…,xi−1​} 视为固定值。定义
$$V_i=\mathbb{E}[f(X)|x_1,\dots ,x_i],$$
这是一个仅依赖于前 $i$ 个变量的函数。特别地：

• $V_m=\mathbb{E}[f(X)|x_1,\dots ,x_m]=f(X)$，
• $V_0=\mathbb{E}[f(X)]$。

于是，$Z$ 可以表示为：
$$Z=V_m-V_0=\sum _{i=1}^m(V_i-V_{i-1}).$$
记 $Y_i=V_i-V_{i-1}$，则 $Z={\sum }_{i=1}^m{Y}_i$。接下来，我们采用切诺夫界的方法：对于任意 $\lambda >0$，有
$$P(Z⩾ϵ)⩽e^{-\lambda ϵ}\mathbb{E}[e^{\lambda Z}]=e^{-\lambda ϵ}\mathbb{E}\left[\exp \left(\lambda \sum _{i=1}^m{Y}_i\right)\right].$$

切诺夫界方法：对于随机变量 $Z$，通过引入参数 $\lambda >0$，利用马尔可夫不等式可得：
$$P(Z⩾ϵ)=P(e^{\lambda Z}⩾e^{\lambda ϵ})⩽\frac{\mathbb{E}[e^{\lambda Z}]}{e^{\lambda ϵ}}.$$

接下来计算 $\mathbb{E}[e^{\lambda Z}]$。根据塔定律（条件期望的迭代性质），可以逐步对变量取条件期望。首先：
$$\mathbb{E}[e^{\lambda {\sum }_{i=1}^m{Y}_i}]=\mathbb{E}\left[\mathbb{E}\left[e^{\lambda {\sum }_{i=1}^m{Y}_i}|x_1,\dots ,x_{m-1}\right]\right].$$
在内层条件期望中，$x_1,\dots ,x_{m-1}$ 是固定的，因此 $Y_1,\dots ,Y_{m-1}$ 是常数，可以提出：
$$\mathbb{E}\left[e^{\lambda {\sum }_{i=1}^{m-1}{Y}_i}\cdot e^{\lambda Y_m}|x_1,\dots ,x_{m-1}\right]=e^{\lambda {\sum }_{i=1}^{m-1}{Y}_i}\cdot \mathbb{E}\left[e^{\lambda Y_m}|x_1,\dots ,x_{m-1}\right].$$
将其代回外层期望，得到：
$$\mathbb{E}[e^{\lambda Z}]=\mathbb{E}\left[e^{\lambda {\sum }_{i=1}^{m-1}{Y}_i}\cdot \mathbb{E}\left[e^{\lambda Y_m}|x_1,\dots ,x_{m-1}\right]\right].$$
重复这一过程，逐步对 $Y_{m-1},Y_{m-2},\dots ,Y_1$ 取条件期望，最终只需考虑：
$$\mathbb{E}\left[e^{\lambda Y_i}|x_1,\dots ,x_{i-1}\right].$$

为了对上式进行界估计，我们使用Hoeffding引理。首先验证 $Y_i$ 的条件：

1. 零均值性：
   $$\mathbb{E}[Y_i|x_1,\dots ,x_{i-1}]=\mathbb{E}[V_i|x_1,\dots ,x_{i-1}]-V_{i-1}=V_{i-1}-V_{i-1}=0.$$
2. 有界性：
   定义辅助函数：
   $$g(x_i^{\prime })=\mathbb{E}[f(x_1,\dots ,x_{i-1},x_i^{\prime },\dots ,x_m)|x_1,\dots ,x_{i-1}],$$
   则 $V_i=g(x_i)$，$V_{i-1}=\mathbb{E}[g(x_i^{\prime })]$，因此：
   $$Y_i=g(x_i)-\mathbb{E}[g(x_i^{\prime })].$$
   由最开始$f$ 的性质$|f(\dots )-f(\dots )|\le c_i$，$g$ 的值域满足：
   $$\underset{x_i^{\prime },x_i^{\prime \prime }}{\sup }|g(x_i^{\prime })-g(x_i^{\prime \prime })|⩽c_i.$$
   因此，$Y_i$ 的取值区间宽度不超过 $c_i$。

根据Hoeffding引理，有：
$$\mathbb{E}\left[e^{\lambda Y_i}|x_1,\dots ,x_{i-1}\right]⩽\exp \left(\frac{{\lambda }^2{c}_i^2}{8}\right).$$
将其代入 $\mathbb{E}[e^{\lambda Z}]$ 的表达式，得到：
$$\mathbb{E}[e^{\lambda Z}]⩽\prod _{i=1}^m\exp \left(\frac{{\lambda }^2{c}_i^2}{8}\right)=\exp \left(\frac{{\lambda }^2{\sum }_{i=1}^m{c}_i^2}{8}\right).$$
最后，通过优化 $\lambda$ 来最小化右式。令导数为零，解得：
$$\lambda =\frac{4ϵ}{{\sum }_{i=1}^m{c}_i^2},$$
此时指数部分取得最小值：
$$-\frac{2{ϵ}^2}{{\sum }_{i=1}^m{c}_i^2}.$$
因此，第一条不等式得证。第二条不等式可以通过类似 Hoeffding 不等式的对称性证明，此处省略。

12.2 PAC学习

回到我们的主线，我们需要解决的问题是学习器的泛化性能分析。为此，提出了可能近似正确(Probably Approximately Correct, PAC)学习框架，旨在为这一问题建立严格的数学理论基础。

正如前文所述，在这个框架下，我们对学习器的要求包含两个关键方面：

• 近似正确：不要求学习器$h$达到零错误率，但要求其错误率能够控制在可接受的范围内。具体来说，对于给定的误差阈值$ϵ>0$，学习器的错误率应当满足$err(h)\le ϵ$。这里的$ϵ$反映了我们对模型精度的要求。

• 可能：不要求学习过程每次都成功，但要求成功的概率足够高。具体而言，对于给定的置信参数$\delta >0$，学习过程失败的概率不超过$\delta$。换句话说，我们以至少$1-\delta$的概率保证学习器满足近似正确性条件。$\delta$的设定反映了我们对学习过程可靠性的要求。

PAC学习理论主要研究在给定学习要求的情况下，学习算法需要满足的条件，特别是所需的训练数据量。我们沿用之前的符号定义：输入空间$\mathcal{X}$和输出空间$\mathcal{Y}$，数据分布$\mathcal{D}$，目标概念$c$。
接着引入两个概念：

1. 假设空间$\mathcal{H}$：表示在特定学习算法$\mathcal{L}$作用下可能产生的所有假设$h$的集合。这里需要特别注意，这个$\mathcal{H}$是与算法相关的，不同于学习任务本身的理论假设空间。
2. 概念类$\mathcal{C}$：表示我们希望学习的所有可能目标概念的集合。如果目标概念$c$包含在假设空间$\mathcal{H}$中（即$c\in \mathcal{H}$），那么我们称学习算法$\mathcal{L}$是可分的或者一致的；反之则称为不可分的或不一致的。

接下来给出四个定义：
PAC辨识：对于任意的$0<ϵ,\delta <1$，针对所有可能的目标概念$c\in \mathcal{C}$和所有可能的数据分布$\mathcal{D}$，若存在一个学习算法$\mathcal{L}$，使得该算法输出的假设$h\in \mathcal{H}$满足以下概率不等式：
$$P(E(h)\le ϵ)\ge 1-\delta$$
其中$E(h)$表示假设$h$的泛化误差，那么称学习算法$\mathcal{L}$能够从假设空间$\mathcal{H}$中PAC辨识概念类$\mathcal{C}$。这个定义将机器学习算法需要满足的可靠性要求进行了严格的数学表述。

需要特别注意的是，虽然PAC辨识提供了一个理想化的理论保证，但它没有考虑实现这个保证所需的样本数量。如果达到该保证需要无限多个训练样本，那么这个理论结果就失去了实际应用价值。

PAC可学习：设$m$表示从分布$\mathcal{D}$中独立同分布采样得到的训练样本数量，给定参数$0<ϵ,\delta <1$。如果对于所有可能的分布$\mathcal{D}$，都存在一个学习算法$\mathcal{L}$和一个多项式函数$\text{poly}(\cdot ,\cdot ,\cdot ,\cdot )$，使得当样本量$m$满足：
$$m\ge \text{poly}(1/ϵ,1/\delta ,\text{size}(\mathbf{x}),\text{size}(c))$$
时，$\mathcal{L}$都能从假设空间$\mathcal{H}$中PAC辨识概念类$\mathcal{C}$，那么就称概念类$\mathcal{C}$相对于假设空间$\mathcal{H}$是PAC可学习的，简称为概念类$\mathcal{C}$是PAC可学习的。

这个定义的核心在于对样本的多项式约束，具体解释如下：

• $1/ϵ$：要求的精度越高（$ϵ$越小），需要的样本量越大
• $1/\delta$：置信度要求越高（$\delta$越小），需要的样本量越大
• $\text{size}(\mathbf{x})$：输入样本的表示复杂度
• $\text{size}(c)$：目标概念的描述复杂度

多项式增长意味着样本需求量的上界是可控的，这与指数级增长形成鲜明对比，后者在实际中往往是不可行的。

在保证样本效率的基础上，我们还需要考虑计算效率，这就引出了下一个定义：

PAC学习算法：如果一个学习算法$\mathcal{L}$不仅使概念类$\mathcal{C}$是PAC可学习的，而且$\mathcal{L}$本身的运行时间也是多项式函数$\text{poly}(1/ϵ,1/\delta ,\text{size}(\mathbf{x}),\text{size}(c))$，那么就称概念类$\mathcal{C}$是高效PAC可学习的，并称$\mathcal{L}$为概念类$\mathcal{C}$的PAC学习算法。

这个定义在PAC可学习的基础上增加了对算法时间复杂度的约束，其理解方式与PAC可学习类似。
最后，PAC可学习给出了样本量的一个下界，而我们还希望知道这个下界的最小值，这就是：

样本复杂度：对于PAC学习算法$\mathcal{L}$，若存在多项式函数$\text{poly}(\cdot )$使得当样本量$m$满足$m\ge \text{poly}(1/ϵ,1/\delta ,\text{size}(\mathbf{x}),\text{size}(c))$时，$\mathcal{L}$能实现PAC学习，则称满足该条件的最小$m$值为该算法的样本复杂度。
这个指标反映了算法达到PAC学习要求所需的最小样本数量。

在PAC学习中，假设空间$\mathcal{H}$的复杂度是一个重要因素：

• 当$\mathcal{H}=\mathcal{C}$时（即假设空间与概念类完全一致），称为恰PAC学习，但这种情况通常难以实现。
• 更常见的情形是$\mathcal{H}\ne \mathcal{C}$，此时$\mathcal{H}$的规模会影响学习难度：
  • $\mathcal{H}$越大，包含目标概念$c$的可能性越高，但找到正确的$c$也越困难。
  • 若$|\mathcal{H}|$有限，称$\mathcal{H}$为有限假设空间；否则称为无限假设空间。

12.3 有限假设空间

我们先考虑最直观且简单的情形：模型假设空间是有限的，并且算法$\mathcal{L}$是可分的（即存在至少一个假设$h\in \mathcal{H}$在训练集上完全正确）。这种情况下，PAC学习的结论会如何？

由于$\mathcal{L}$可分且$\mathcal{H}$有限，我们可以通过遍历排除法逐步筛选假设：首先丢弃所有与训练集$\mathcal{L}$不一致的假设，剩下的假设称为一致假设。但一致性只是必要条件，PAC学习还要求这些假设的泛化误差必须足够小。根据上一节的知识：对任意一个一致假设$h$，其泛化误差$E(h)\le ϵ$的概率至少为$1-\delta$，才能满足PAC可辨识性。

证明过程如下：
假设从$\mathcal{H}$中随机选取一个坏假设$h_{bad}$，其泛化误差满足$E(h_{bad})>ϵ$。对于任意来自分布$\mathcal{D}$的样本$(\mathbf{x},y)$，该假设预测正确的概率为：
$$P(h_{bad}(\mathbf{x})=y)=1-P(h_{bad}(\mathbf{x})\ne y)=1-E(h_{bad})<1-ϵ$$
这意味着，坏假设$h_{bad}$在单次预测中不犯错（即“蒙混过关”）的概率严格小于$1-ϵ$。如果$h_{bad}$要成为一致假设，它必须对所有$m$个训练样本都预测正确，这一事件的概率不超过$(1-ϵ{)}^m$。

接下来考虑假设空间$\mathcal{H}$的整体性质。虽然无法直接计算抽到坏假设的概率，但可以通过联合界得到失败概率的上界：
$$P_{\text{fail}}\le |\mathcal{H}|\cdot (1-ϵ{)}^m\le |\mathcal{H}|\cdot e^{-ϵm}$$
其中最后一步利用了不等式$1-x\le e^{-x}$（$x>0$）。这表明，算法$\mathcal{L}$输出坏假设的概率（即学习失败的概率）不超过$|\mathcal{H}|e^{-ϵm}$。为了满足PAC要求，我们强制该概率小于$\delta$：
$$|\mathcal{H}|e^{-ϵm}\le \delta$$
解得所需的最小样本量$m$为：
$$m\ge \frac{1}{ϵ}\left(\ln |\mathcal{H}|+\ln \frac{1}{\delta }\right)$$
结论：只要样本数量$m$满足上述条件，有限假设空间$\mathcal{H}$在可分情形下一定是PAC可辨识且可学习的。

以上结论成立的条件中有一个明显的可分情形假设，那么如果数据不可分时该如何处理？在这种情况下，$\hat{E}(h)\ne 0,\forall h\in H$，也就是说对于假设空间中的任何假设，其在训练集上都无法达到完美表现。

这时一个自然的思路是放宽要求：我们只需要保证假设空间中在训练集上表现最好的那个假设$h$，其泛化误差$E(h)<ϵ$的概率达到$1-\delta$即可。

首先，这个证明需要用到之前提到的霍夫丁不等式：
$$P(|\hat{E}(h)-E(h)|>ϵ)\le 2e^{-2m{ϵ}^2}$$

接下来我们继续使用联合界。学习失败的事件定义为至少存在一个$h\in \mathcal{H}$使得训练误差和泛化误差的偏差超过$ϵ$：
$$\begin{array}{rl}{P}_{fail}& =P(\exists h\in H,|\hat{E}(h)-E(h)|>ϵ)\\ & \le \sum _{h\in H}P(|\hat{E}(h)-E(h)|>ϵ)\\ & \le \sum _{h\in H}2e^{-2m{ϵ}^2}\\ & =2|\mathcal{H}|e^{-2m{ϵ}^2}\end{array}$$

我们希望这个失败概率不超过$\delta$，于是得到不等式$|\mathcal{H}|\cdot 2e^{-2m{ϵ}^2}\le \delta$，解这个不等式可以得到：
$$m\ge \frac{1}{2{ϵ}^2}\left(\ln |\mathcal{H}|+\ln \frac{2}{\delta }\right)$$

这个结果表明即使在不可分情形下，PAC学习仍然是可能的。因此我们定义：

不可知 PAC 可学习：设$m$表示从分布$\mathcal{D}$中独立同分布采样的样本数量，$0<ϵ,\delta <1$。如果对于所有分布$\mathcal{D}$，存在学习算法$\mathcal{L}$和多项式函数$\text{poly}(\cdot ,\cdot ,\cdot ,\cdot )$，使得对于任何$m\ge \text{poly}(1/ϵ,1/\delta ,\text{size}(x),\text{size}(c))$，$\mathcal{L}$能从假设空间$\mathcal{H}$中输出满足以下条件的假设$h$：
$$P\left(E(h)-\underset{h^{\prime }\in \mathcal{H}}{\min }E(h^{\prime })\le ϵ\right)\ge 1-\delta$$
则称假设空间$\mathcal{H}$是不可知 PAC 可学习的。

最终我们得到了不可知 PAC 学习的样本复杂度界。将其与之前"可分"情况的结果进行比较：

• 可分情形: $m\ge \frac{1}{ϵ}\left(\ln |\mathcal{H}|+\ln \frac{1}{\delta }\right)$
• 不可分情形: $m\ge \frac{1}{2{ϵ}^2}\left(\ln |\mathcal{H}|+\ln \frac{2}{\delta }\right)$

可以观察到对$ϵ$的依赖关系从$1/ϵ$变为$1/{ϵ}^2$，这说明在不可知设定下，要达到相同的精度要求需要多得多的样本。