05_核支持向量机

描述

核支持向量机（通常简称为SVM）可以推广到更复杂模型的扩展，这些模型无法被输入空间的超平面定义。

SVM 的核心思想是找到一个最优的超平面，将不同类别的数据分开。这个超平面不仅要能够正确分类数据，还要使得两个类别之间的间隔（margin）最大化。

• 超平面
  • 在二维空间中，超平面是一个直线
  • 在三维空间中，超平面是一个平面
  • 在更高维空间中，超平面是一个分割空间的超平面
• 支持向量
  • 支持向量是离超平面最近的样本点，这些支持向量对于定义超平面至关重要
  • 支持向量机通过最大化支持向量到超平面的距离（及最大化间隔）来选择最佳超平面
• 最大间隔
  • SVM的目标是最大化分类间隔，使得分类边界尽可能远离两类数据点，这可以有效地减少模型的泛化误差
• 核技巧
  • 对于非线性可分的数据，SVM使用核函数将数据映射到更高维的空间，在这个空间中，数据可能是线性可分的。
  • 常用的核函数有：线性核、多项式核、径向基函数（RBF）核等。

线性模型在低维空间中可能非常受限，因为线和平面的灵活性有限。有一种方法可以让线性模型更加灵活，就是添加更多的特。

下面举个例子，添加输入特征的交互项或多项式：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import mglearn
import warnings
warnings.filterwarnings('ignore')X,Y=mglearn.datasets.make_blobs(centers=4,random_state=8) # 随机创造一些数据
Y=Y%2mglearn.discrete_scatter(X[:, 0], X[:, 1], Y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")

执行上例，可以看到数据有明显的分类

from sklearn.svm import LinearSVC
linear_svm = LinearSVC().fit(X, Y)mglearn.plots.plot_2d_separator(linear_svm, X)
mglearn.discrete_scatter(X[:, 0], X[:, 1], Y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")

用于分类的线性模型只能用一条直线来划分数据点，对这个数据集无法给出较好的结果

X_new = np.hstack([X,X[:,1:]**2])from mpl_toolkits.mplot3d import Axes3D,art3dfigure = plt.figure()
ax = Axes3D(figure, elev=-152, azim=-26)
mask = Y == 0
ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b',cmap=mglearn.cm2, s=60)
ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^', cmap=mglearn.cm2, s=60)
ax.set_xlabel("feature0")
ax.set_ylabel("feature1")
ax.set_zlabel("feature1 ** 2")
figure.add_axes(ax)
plt.show()

上例中添加第二个特征的平方（feature1 ** 2）作为一个新特征。现在我们将每个数据点表示为三维点 (feature0, feature1, feature1 ** 2)，而不是二维点 (feature0, feature1)。

linear_svm_3d = LinearSVC().fit(X_new,Y )
coef, intercept = linear_svm_3d.coef_.ravel(), linear_svm_3d.intercept_
figure = plt.figure()
ax = Axes3D(figure, elev=-152, azim=-26)
xx = np.linspace(X_new[:, 0].min() - 2, X_new[:, 0].max() + 2, 50)
yy = np.linspace(X_new[:, 1].min() - 2, X_new[:, 1].max() + 2, 50)
XX, YY = np.meshgrid(xx, yy)
ZZ = (coef[0] * XX + coef[1] * YY + intercept) / -coef[2]
ax.plot_surface(XX, YY, ZZ, rstride=8, cstride=8, alpha=0.3)
ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b',cmap=mglearn.cm2, s=60)
ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^',cmap=mglearn.cm2, s=60)
ax.set_xlabel("feature0")
ax.set_ylabel("feature1")
ax.set_zlabel("feature1 ** 2")
figure.add_axes(ax)
plt.show()

可以用线性模型（三维空间中的平面）将这两个类别分开。

核技巧

向数据表示中添加非线性特征，可以让线性模型变得更强大。但是，通常来说并不知道要添加哪些特征。有一种巧妙的数学技巧，可以在更高维空间中学习分类器，而不用实际计算可能非常大的新的数据表示。这种技巧叫作核技巧(kernel trick)。它的原理是直接计算扩展特征表示中数据点之间的距离（准确地说是内积），而不用实际对扩展进行计算。

对于支持向量机，将数据映射到更高维空间中有两种常用的方法：

• 多项式核：在一定阶数内计算原始特征所有可能的多项式（比如 feature1 ** 2 * feature2 ** 5）
• 径向基函数核（高斯核）：（对应无限维的特征空间）考虑所有阶数的所有可能的多项式，但阶数越高，特征的重要性越小。

不过在实践中，核 SVM 背后的数学细节并不是很重要，主要是掌握用法、参数调优。

理解SVM

在训练过程中，SVM 学习每个训练数据点对于表示两个类别之间的决策边界的重要性。通常只有一部分训练数据点对于定义决策边界来说很重要：位于类别之间边界上的那些点。这些点叫作支持向量（support vector）。

想要对新样本点进行预测，需要测量它与每个支持向量之间的距离。分类决策是基于它与支持向量之间的距离以及在训练过程中学到的支持向量重要性（保存在 SVC 的 dual_coef_属性中）来做出的。

from sklearn.svm import SVCX,Y = mglearn.tools.make_handcrafted_dataset()
svm = SVC(kernel='rbf',C=10,gamma=0.1).fit(X,Y)
mglearn.plots.plot_2d_separator(svm, X, eps=.5)
mglearn.discrete_scatter(X[:, 0], X[:, 1], Y)
sv = svm.support_vectors_
sv_labels = svm.dual_coef_.ravel() > 0
mglearn.discrete_scatter(sv[:, 0], sv[:, 1], sv_labels, s=15, markeredgewidth=3)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")

执行上例子，SVM 给出了非常平滑且非线性（不是直线）的边界。

gamma 参数：用于控制高斯核的宽度，它决定了点与点之间“靠近”是指多大的距离。

C 参数：正则化参数，与线性模型中用到的类似，它限制每个点的重要性（或者更确切地说，每个点的 dual_coef_）。

fig,axes=plt.subplots(3,3,figsize=(15,10))for ax,C in zip(axes,[-1,0,3]):for a,gamma in zip(ax,range(-1,2)):mglearn.plots.plot_svm(log_C=C,log_gamma=gamma,ax=a)axes[0,0].legend(['class 0','class 1','sv class 0','sv class 1'],ncol=4,loc=(.9,1.2))

执行上例：

从左到右，将参数 gamma 的值从 0.1 增加到 10。gamma 较小，说明高斯核的半径较大，许多点都被看作比较靠近。这一点可以在图中看出：左侧的图决策边界非常平滑，越向右的图决策边界更关注单个点。小的 gamma 值表示决策边界变化很慢，生成的是复杂度较低的模型，而大的 gamma 值则会生成更为复杂的模型。

从上到下，将参数 C 的值从 0.1 增加到 1000。与线性模型相同，C 值很小，说明模型非常受限，每个数据点的影响范围都有限。可以看到，左上角的图中，决策边界看起来几乎是线性的，误分类的点对边界几乎没有任何影响。再看左下角的图，增大 C 之后这些点对模型的影响变大，使得决策边界发生弯曲来将这些点正确分类。

将 RBF 核 SVM 应用到乳腺癌数据集上。默认情况下，C=1，gamma=1/n_features：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_splitcancer = load_breast_cancer()X_train,X_test,Y_train,Y_test=train_test_split(cancer.data,cancer.target,random_state=42)svc = SVC(C=1,gamma=1.0/len(X_train[0]))
svc.fit(X_train,Y_train)print(svc.score(X_train,Y_train),svc.score(X_test,Y_test))

执行上例，这个模型在训练集上的分数十分完美，但在测试集上的精度打了6折，存在相当严重的过拟合。虽然 SVM 的表现通常都很好，但它对参数的设定和数据的缩放非常敏感。特别地，它要求所有特征有相似的变化范围。

为SVM预处理数据

plt.plot(X_train.min(axis=0), 'o', label="min")
plt.plot(X_train.max(axis=0), '^', label="max")
plt.legend(loc=4)
plt.xlabel("Feature index")
plt.ylabel("Feature magnitude")
plt.yscale("log")

执行上例可以明显看出，乳腺癌数据集的特征具有完全不同的数量级。这对其他模型来说（比如线性模型）可能是小问题，但对核 SVM 却有极大影响。

解决这个问题的一种方法就是对每个特征进行缩放，使其大致都位于同一范围。核 SVM常用的缩放方法就是将所有特征缩放到 0 和 1 之间。

min_on_training = X_train.min(axis=0) # 计算训练集中每个特征的最小值
range_on_training = (X_train-min_on_training).max(axis=0) # 计算训练集中每个特性的范围（最大值-最小值）
# 减去最小值，然后除以范围
# 这样每个特征都是min=0和max=1
X_train_scaled = (X_train-min_on_training)/range_on_training
print("Minimum for each feature\n{}".format(X_train_scaled.min(axis=0)))
print("Maximum for each feature\n {}".format(X_train_scaled.max(axis=0)))# 利用训练集的最小值和范围对测试集做相同的变换
X_test_scaled = (X_test - min_on_training) / range_on_trainingsvc = SVC()
svc.fit(X_train_scaled,Y_train)
print(svc.score(X_train_scaled,Y_train),svc.score(X_test_scaled,Y_test))

可以尝试增大 C 或 gamma 来拟合更为复杂的模型

svc = SVC(C=1000,gamma=2.0/len(X_train[0]))
svc.fit(X_train_scaled,Y_train)
print(svc.score(X_train_scaled,Y_train),svc.score(X_test_scaled,Y_test))

执行上面的两个例子，可以明显看到，测试得分有大幅度提高。

优缺点、参数

核支持向量机是非常强大的模型，在各种数据集上的表现都很好。SVM 允许决策边界很复杂，即使数据只有几个特征。它在低维数据和高维数据（即很少特征和很多特征）上的表现都很好，但对样本个数的缩放表现不好。

SVM 的另一个缺点是，预处理数据和调参都需要非常小心。这也是为什么很多应用中用的都是基于树的模型，比如随机森林或梯度提升（需要很少的预处理，甚至不需要预处理）。此外，SVM 模型很难检查，可能很难理解为什么会这么预测，而且也难以将模型向非专家进行解释。

不过 SVM 仍然是值得尝试的，特别是所有特征的测量单位相似（比如都是像素密度）而且范围也差不多时。

参数：gamma 和 C 控制的都是模型复杂度，较大的值都对应更为复杂的模型。

• C：正则化参数，较小的 C 值可以让算法尽量适应“大多数”数据点，而较大的 C 值更强调每个数据点都分类正确的重要性。
• gamma ：用于控制高斯核的宽度，高斯核的半径较大，许多点都被看作比较靠近。