【课堂笔记】核方法和Mercer定理

Kernal

引入

  在实际数据中常常遇到不可线性分割的情况，此时通常需要将其映射到高维空间中，使其变得线性可分。例如二维数据：

通过映射$\varphi (x_1,x_2)=(x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2)$，将数据投影到三维空间，下面展示的是一个二维投影（三维画不出来）：

  于是我们可以找到一个超平面（如$x_1^2+x_2^2=c$）来把两类数据分开。这种投影方法被称为显式投影法，即构造出一个函数$\varphi (x)$将数据从原始空间投影到高维空间。

  在一些模型中（如SVM），需要计算高维空间下数据点之间的内积$x_1^{\top }{x}_2$，反映数据点之间的相似度。然而将数据点投影后再计算会产生许多时间花费和空间花费。那有没有什么方法能直接计算出内积，跳过投影的过程呢？~~有的兄弟，有的。~~于是核方法诞生了。

定义

  核方法（Kernel Methods）是一类机器学习算法，旨在通过将数据从原始空间隐式映射到高维特征空间来解决非线性问题，同时利用核函数高效计算特征空间中的内积，而无需显式计算高维特征向量。
  设输入空间为$\mathcal{X}$，如下形式的函数称为核函数：
$$\mathcal{K}:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$$
满足其对应的Gram矩阵是正定的或半正定的，这保证了核函数在数学上定义了一个有效的内积空间。
  则这个核函数一定能写成某个高维空间的内积$\mathcal{K}(x,x^{\prime })=\varphi (x{)}^{\top }\varphi (x^{\prime })$，这由Mercer定理支持。

Mercer定理

描述

  如果核函数$\mathcal{K}:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$满足Mercer条件，即正定性，则存在一个映射$\varphi :\mathcal{X}\to \mathcal{H}$，将$x$映射到某个希尔伯特空间，使得：
$$\mathcal{K}(x,x^{\prime })=\varphi (x{)}^T\varphi (x^{\prime })$$

有限情形证明

先在有限数据集 { x 1 , . . . , x N } ⊂ X \set{x_1, ..., x_N} \subset \mathcal{X} {x1​,...,xN​}⊂X上证明：由于$\mathcal{K}$是对称正定矩阵，则可以分解为
$$\begin{gathered} \mathcal{K}=U^{\top }\Lambda U \\ \Lambda =\text{diag }({\lambda }_1,...,{\lambda }_N),{\lambda }_i\ge 0 \end{gathered}$$
$U$是正交矩阵，$U^{\top }U=I$，列向量$u_1,...,u_N$是特征向量。
定义特征映射为$\varphi :\mathcal{X}\to {\mathbb{R}}^N$为：
$$\varphi (x_i)={\Lambda }^{1/2}{u}_i$$
其中${\Lambda }^{1/2}=\text{diag }\left(\sqrt{{\lambda }_1},...,\sqrt{{\lambda }_N}\right)$
验证内积：
$$\varphi (x_i{)}^{\top }\varphi (x_j)=u_i^{\top }\Lambda u_j=\mathcal{K}(x_i,x_j)$$
补充：若$\mathcal{K}$的秩$r<N$，（可能有零特征值），特征空间的维度可以降为$r$，即只保留非零特征值对应的分量。
这证明了对于有限数据集，核函数可以通过特征分解构造一个有限维特征空间的内积。

一般情形证明

  为了严谨性，对于一般核函数$\mathcal{K}(x,x^{\prime })$，输入空间$\mathcal{X}$可能是连续的（如$\mathcal{X}={\mathbb{R}}^d$或紧致域），且核函数可能定义在无穷多点上。Mercer定理的完整形式需要函数空间的理论，特别是再生核希尔伯特空间（RKHS）。
  假设：
（1）$\mathcal{X}$是紧致集
（2）$\mathcal{K}(x,x^{\prime })$是对称的、连续的，且满足Mercer条件（正定性）。
（3）正定性在连续情形下定义为：对于任意平方可积函数$f\in {\mathcal{L}}^2(\mathcal{X})$，有：
$${\iint }_{\mathcal{X}\times \mathcal{X}}f(x)\mathcal{K}(x,x^{\prime })f(x^{\prime })dxd{x}^{\prime }\ge 0$$
  然后对$\mathcal{K}$进行特征展开，核函数$\mathcal{K}(x,x^{\prime })$作为一个对称正定算子，可以通过特征值分解表示。定义积分算子：
$$(T_{K}f)(x)={\int }_{\mathcal{X}}\mathcal{K}(x,x^{\prime })f(x^{\prime })d{x}^{\prime }$$
$T_K$是一个紧致、自我伴随的算子（因为$\mathcal{K}$对称且连续）。根据希尔伯特-施密特理论，$T_K$有可数个特征值${\lambda }_i\ge 0$和对应的特征函数${\psi }_i(x)$，满足：
$$T_K{\psi }_i={\lambda }_i{\psi }_i,{\int }_{\mathcal{X}}\mathcal{K}(x,x^{\prime }){\psi }_i(x^{\prime })d{x}^{\prime }={\lambda }_i{\psi }_i$$
特征函数 { ψ i } \left\{\psi_i\right \} {ψi​}构成了${\mathcal{L}}^2(\mathcal{X})$的正交基，满足：
$${\int }_{\mathcal{X}}{\psi }_i(x){\psi }_j(x)dx={\delta }_{ij}$$
核函数可以表示为特征展开：
$$\mathcal{K}(x,x^{\prime })=\underset{i=1}{\sum ^{\infty }}{\lambda }_i{\psi }_i(x){\psi }_i(x^{\prime })$$
这一级数在$\mathcal{X}\times \mathcal{X}$上均匀收敛（因为$\mathcal{K}$连续且$\mathcal{X}$紧致）

然后我们构造特征映射$\varphi :\mathcal{X}\to \mathcal{H}$，其中$\mathcal{H}$是希尔伯特空间（通常是$l^2$，无穷维序列空间），可以理解为无限维的欧几里得空间。
$$\varphi (x)=\left(\sqrt{{\lambda }_1}{\psi }_1(x),\sqrt{{\lambda }_1}{\psi }_2(x),...\right)$$
每个$\varphi (x)$是一个无穷序列，其分量为$\sqrt{{\lambda }_i}{\psi }_i(x)$
在$\mathcal{H}$中的内积定义为：
$$\varphi (x{)}^{\top }\varphi (x^{\prime })=\underset{i=1}{\sum ^{\infty }}\left(\sqrt{{\lambda }_i}{\psi }_i(x)\right)\left(\sqrt{{\lambda }_i}{\psi }_i(x^{\prime })\right)=\underset{i=1}{\sum ^{\infty }}{\lambda }_i{\psi }_i(x){\psi }_i(x^{\prime })=\mathcal{K}(x,x^{\prime })$$