西瓜书第十一章——降维与度量学习

降维与度量学习

k近邻学习原理

KNN有什么显著的特征？
第一是Lazy Learning，没有显式的训练阶段，实现非常简单
第二是直接支持多分类，而一些二分类模型例如SVM需要借助OvO或者OvM训练多个模型来进行多分类

KNN需要注意的点？
超参数k的选择非常非常重要，过小则过拟合，过大则欠拟合，因此需要进行进行多折交叉验证确定最佳的k
最后是需要对特征进行归一化防止大数吃小数

k近邻（k-Nearest Neighbor, kNN）是一种基于实例的监督学习算法，其核心机制为局部相似性归纳。给定测试样本，算法通过度量空间中的距离函数，从训练集中选取与之最近的k个样本，利用这些邻居的类别标签进行预测。最关键的是选取合适的k，k过小即过拟合，过大则欠拟合

1. 天然支持多分类！
2. 原理实现简单

具体流程如下：

1. 距离度量
   设样本空间为$\mathcal{X}\subseteq {\mathbb{R}}^n$，给定距离函数$d:\mathcal{X}\times \mathcal{X}\to {\mathbb{R}}^{+}$（如闵可夫斯基距离$d_p({\mathbf{x}}_i,{\mathbf{x}}_j)=({\sum }_{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{1/p}$），计算测试样本与所有训练样本的相似性。常见特例包括：

   • 曼哈顿距离（$p=1$）
   • 欧氏距离（$p=2$）
   • 切比雪夫距离（$p\to \infty$）

2. 近邻选择
   根据距离排序，选择与测试样本距离最小的k个训练样本，构成邻域集合$N_k(\mathbf{x})=\{({\mathbf{x}}_i,y_i)\in D|d(\mathbf{x},{\mathbf{x}}_i)\le d(\mathbf{x},{\mathbf{x}}_{(k)})\}$，其中$D$为训练集，$d(\mathbf{x},{\mathbf{x}}_{(k)})$为第k小的距离值。

3. 决策函数

   • 分类任务：采用多数投票法，即
     $$y=\arg \underset{c\in \mathcal{Y}}{\max }\sum _{({\mathbf{x}}_i,y_i)\in N_k(\mathbf{x})}\mathbb{I}(y_i=c)$$
   • 回归任务：采用均值法，即
     $$y=\frac{1}{k}\sum _{({\mathbf{x}}_i,y_i)\in N_k(\mathbf{x})}{y}_i$$

4. 关键参数与优化

   • k值选择：通过交叉验证确定最优k值。较小k值易受噪声干扰（过拟合），较大k值导致决策边界模糊（欠拟合）。
   • 维度归一化：对特征进行标准化处理（如Z-score），消除量纲差异对距离度量的影响。
   • 距离加权：引入权值函数（如$w_i=1/d(\mathbf{x},{\mathbf{x}}_i)$），使近邻对决策的贡献度随距离衰减。

5. 算法特性

   • 懒惰学习（Lazy Learning）：无显式训练阶段，计算延迟至预测时执行。
   • 维度敏感性：高维数据下，样本稀疏性与距离计算复杂度显著增加，需结合降维技术（如PCA、LDA）优化性能。
   • 决策边界：kNN生成的决策边界为非线性分段超平面，模型复杂度随k值增大而降低。

理论依据
kNN的泛化误差收敛性由Cover和Hart定理保证：当训练样本趋于无限且$k\to \infty$、$k/n\to 0$时，分类错误率不超过贝叶斯最优错误率的两倍。该性质揭示了kNN在渐进意义下的统计合理性。

头歌实战-numpy实现KNN

#encoding=utf8
import numpy as np
from collections import Counterclass kNNClassifier(object):def __init__(self, k):'''初始化函数:param k:kNN算法中的k'''self.k = k# 用来存放训练数据，类型为ndarrayself.train_feature = None# 用来存放训练标签，类型为ndarrayself.train_label = Nonedef fit(self, feature, label):'''kNN算法的训练过程:param feature: 训练集数据，类型为ndarray:param label: 训练集标签，类型为ndarray:return: 无返回'''#********* Begin *********#self.train_feature=featureself.train_label=label#********* End *********#def predict(self, feature):'''kNN算法的预测过程:param feature: 测试集数据，类型为ndarray:return: 预测结果，类型为ndarray或list'''#********* Begin *********##测试集中的feature也是多个的predict=[]#需要遍历测试集中的featurefor sample in feature:distance=np.sum((sample-self.train_feature)**2,axis=1)**(1.0/2)#(samples,)#获取前k个近邻的索引index=np.argsort(distance)[:self.k]  #获取这几个索引的labelpre_label=self.train_label[index]#统计每个标签的频次label_count=Counter(pre_label)#字典数据Counter({#label1: count1,#label2: count2,#...#})#找出次数最多的标签所对应的次数，因此这个max_count事实上是一个整数max_count = max(label_count.values())most_common_labels = [label for label , count in label_count.items() if count== max_count]#事实上，还需要处理频次相同的情况，但是此处只需要0.9的正确率就够了predict.append(most_common_labels[0])return predict#********* End *********#

sklearn实现KNN

from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScalerdef classification(train_feature, train_label, test_feature):'''对test_feature进行红酒分类:param train_feature: 训练集数据，类型为ndarray:param train_label: 训练集标签，类型为ndarray:param test_feature: 测试集数据，类型为ndarray:return: 测试集数据的分类结果'''#********* Begin *********## 实例化StandardScaler对象scaler = StandardScaler()after_scaler_train = scaler.fit_transform(train_feature)after_scaler_test = scaler.fit_transform(test_feature)#生成K近邻分类器clf=KNeighborsClassifier(n_neighbors=8,p=2) #训练分类器clf.fit(after_scaler_train,train_label)#进行预测predict_result=clf.predict(after_scaler_test)return predict_result#********* End **********#

降维——多维缩放（Multidimensional Scaling, MDS，MDS）提出背景与原理重述

1.提出背景

在高维数据分析中，降维操作需满足拓扑不变性约束：降维后的低维空间应保持原始高维空间中样本间距离的全局几何关系。多维缩放（Multidimensional Scaling, MDS）的核心目标即通过数学变换，将原始样本投影至低维嵌入空间，使得任意两样本在低维空间中的欧氏距离与原始空间中的广义距离严格一致，从而避免降维导致的样本分布畸变。

---

2.数学建模与原理推导

设原始空间存在$m$个样本，其距离矩阵为$\mathbf{D}\in {\mathbb{R}}^{m\times m}$，其中$D_{ij}$表示样本${\mathbf{x}}_i$与${\mathbf{x}}_j$的原始距离（不限定欧氏距离）。MDS要求构造低维坐标矩阵$\mathbf{Z}\in {\mathbb{R}}^{m\times d^{\prime }}$（$d^{\prime }\ll d$），使得两样本在高维空间的距离等于投影之后在低位空间中的欧式距离：
∥ z i − z j ∥ 2 = D i j , ∀ i , j ∈ { 1 , 2 , . . . , m } \|\boldsymbol{z}_i - \boldsymbol{z}_j\|_2 = D_{ij}, \quad \forall i,j \in \{1,2,...,m\} ∥zi​−zj​∥2​=Dij​,∀i,j∈{1,2,...,m}

3.关键推导步骤

1. 中心化约束
   令低维坐标矩阵$\mathbf{Z}$满足中心化条件：${\sum }_{i=1}^m{\mathbf{z}}_i=0$。此时，内积矩阵$\mathbf{B}=\mathbf{Z}{\mathbf{Z}}^{\top }\in {\mathbb{R}}^{m\times m}$的每行（列）和为0，即：
   $$\sum _{i=1}^m{B}_{ij}=\sum _{j=1}^m{B}_{ij}=0$$

2. 距离与内积的转换
   低维欧氏距离平方可展开为：
   $$D_{ij}^2=\Vert {\mathbf{z}}_i{\Vert }^2+\Vert {\mathbf{z}}_j{\Vert }^2-2{\mathbf{z}}_i^{\top }{\mathbf{z}}_j$$
   结合中心化条件，定义辅助变量：

   • 行内积均值：$T_i=\frac{1}{m}{\sum }_{j=1}^m{B}_{ij}$
   • 全局内积均值：$T=\frac{1}{m^2}{\sum }_{i=1}^m{\sum }_{j=1}^m{B}_{ij}$

   通过代数运算可得内积矩阵元素：
   $$B_{ij}=-\frac{1}{2}\left(D_{ij}^2-T_i-T_j+T\right)$$

3. 矩阵重构与特征分解
   对$\mathbf{B}$进行特征值分解：
   $$\mathbf{B}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\top }$$
   其中$\mathbf{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_m)$为特征值对角矩阵（降序排列），$\mathbf{V}$为对应特征向量矩阵。选取前$d^{\prime }$个正特征值及其特征向量，则低维坐标为：
   $$\mathbf{Z}={\mathbf{V}}_{[:,1:d^{\prime }]}{\mathbf{\Lambda }}_{[1:d^{\prime },1:d^{\prime }]}^{1/2}$$

---

算法流程

1. 输入：距离矩阵$\mathbf{D}\in {\mathbb{R}}^{m\times m}$，目标维度$d^{\prime }$
2. 计算内积矩阵
   • 计算双中心化矩阵：
     $$B_{ij}=-\frac{1}{2}\left(D_{ij}^2-\frac{1}{m}\sum _{k=1}^m{D}_{ik}^2-\frac{1}{m}\sum _{k=1}^m{D}_{kj}^2+\frac{1}{m^2}\sum _{k=1}^m\sum _{l=1}^m{D}_{kl}^2\right)$$
3. 特征分解
   • 对$\mathbf{B}$进行特征分解，保留前$d^{\prime }$个最大正特征值及对应特征向量
4. 输出：低维坐标矩阵$\mathbf{Z}\in {\mathbb{R}}^{m\times d^{\prime }}$

---

理论意义与局限性

• 保距性：MDS严格保持样本间距离，适用于欧氏距离保持场景
• 计算复杂度：特征分解 复杂度为$O(m^3)$，不适用于大规模数据
• 扩展性：经典MDS假设原始距离为欧氏距离，对非度量型距离需采用非度量MDS变体

Principal Component Analysis, PCA 主成分分析

为什么PCA有效？
从最大可分性的角度理解，我们要求降维后的样本在低位空间上仍然能够做到坐标间的方差最大化，使得数据分布能尽可能分散以增强可分性。然而，以协方差矩阵的特征值最大的特征向量方向投影就是能够最大化可分性目标的做法两者是等价的。

PCA的过程是什么？
首先对每个样本点减去特征均值，然后$X{X}^T$获得协方差矩阵。然后特征分解求得前d个最大的特征值，将这些特征值的特征向量作为投影的矩阵。达到降维的目的

PCA有什么局限？
只能捕捉线性结构的特征，对于非线性流形需要引入kernel PCA

1.提出背景与有效性基础

主成分分析（Principal Component Analysis, PCA）作为线性降维技术的代表，其有效性建立在统计最优性准则与几何投影理论的等价性上。面对高维数据中普遍存在的特征冗余与维度灾难问题，主成分分析（PCA）直接通过一个线性变换，将原始空间中的样本投影到新的低维空间中。简单来理解这一过程便是：PCA采用一组新的基来表示样本点，其中每一个基向量都是原来基向量的线性组合，通过使用尽可能少的新基向量来表出样本，从而达到降维的目的。

1. 最近重构性（Minimum Reconstruction Error）
   要求投影后的低维坐标能最大程度保留原始高维数据的拓扑结构，即样本点到投影超平面的垂直距离平方和最小：
   $$\underset{{\mathbf{W}}^{\top }\mathbf{W}=\mathbf{I}}{\min }\sum _{i=1}^m\Vert {\mathbf{x}}_i-\mathbf{W}{\mathbf{W}}^{\top }{\mathbf{x}}_i{\Vert }^2$$
   其中$\mathbf{W}\in {\mathbb{R}}^{d\times d^{\prime }}$为投影矩阵，约束条件${\mathbf{W}}^{\top }\mathbf{W}=\mathbf{I}$保证基向量正交归一化。

2. 最大可分性（Maximum Variance Projection）
   要求投影后样本在低维空间的坐标方差最大化，使数据分布尽可能分散以增强可分性：
   $$\underset{{\mathbf{W}}^{\top }\mathbf{W}=\mathbf{I}}{\max }\text{tr}\left({\mathbf{W}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}\mathbf{W}\right)$$
   此处$\mathbf{X}\in {\mathbb{R}}^{m\times d}$为数据中心化后的样本矩阵，协方差矩阵$\mathbf{\Sigma }=\frac{1}{m}{\mathbf{X}}^{\top }\mathbf{X}$。因此事实上沿着协方差矩阵特征值较大的特征向量的方向投影就使得投影之后的方差较大

2.优化问题的等价性证明

通过代数变换可证上述两目标函数等价：
$$\sum _{i=1}^m\Vert {\mathbf{x}}_i-\mathbf{W}{\mathbf{W}}^{\top }{\mathbf{x}}_i{\Vert }^2=\text{tr}({\mathbf{X}}^{\top }\mathbf{X})-\text{tr}({\mathbf{W}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}\mathbf{W})$$
因此，最小化重构误差等价于最大化投影方差。此等价性揭示了PCA在信息压缩与特征保持之间的根本一致性。

3.数学求解与有效性保障

对协方差矩阵$\mathbf{\Sigma }$进行特征值分解：
$$\mathbf{\Sigma }=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\top }$$
其中特征向量矩阵$\mathbf{V}=[{\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_d]$对应特征值降序排列${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_d$。选取前$d^{\prime }$个特征向量构成投影矩阵$\mathbf{W}=[{\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_{d^{\prime }}]$，其有效性由以下理论保证：

• Karhunen-Loève定理：正交投影下，PCA是保留样本二阶统计量（协方差）的最优线性降维方法。
• 方差解释率：主成分方差${\lambda }_i$反映数据在该方向的信息量，累计贡献率${\sum }_{i=1}^{d^{\prime }}{\lambda }_i/{\sum }_{i=1}^d{\lambda }_i$量化降维后的信息保留程度。

算法优势与适用性

1. 去相关特性：主成分坐标间协方差为0，消除特征冗余。
2. 计算高效性：基于协方差矩阵的特征分解，时间复杂度为$O(d^3)$，适合中等维度数据。
3. 去噪能力：舍弃小特征值对应的成分，可滤除低方差方向的高频噪声。

局限性

• 仅捕捉线性结构，对非线性流形需引入核方法（Kernel PCA）。
• 方差最大化可能忽略判别信息，分类任务中需结合LDA等监督降维方法。
  

通过最大化数据内在方差与最小化信息损失的双重优化，PCA构建了高维数据在低维空间的最优线性表征，其数学严密性与计算可行性奠定了其作为基础降维技术的核心地位。