支持向量机（第二十九节课内容总结）

1. 分类边界与支持向量的几何意义

• 超平面：用于将不同类别的数据分开，在二维情况下是直线，在更高维空间中是超平面。

• 定义：超平面由权重向量 w 和偏置 b 定义，方程为 wTx+b=0。

• 支持向量：距离超平面最近的样本点，位于分类边界两侧，对决策边界有决定性影响。

2. 核心优化目标——最大化间隔（Margin）

• 间隔（Margin）：两类支持向量到超平面的最短距离。

• 优化目标：最大化间隔 D，等价于最大化 ∥w∥2​ 或最小化 ∥w∥2。

• 鲁棒性：通过最大化间隔，提高模型对噪声和异常值的容忍度。

3. 分类约束条件的设计

• 约束条件：所有训练样本满足 yi​(wTxi​+b)≥1，其中 yi​ 为类别标签（+1 或 -1）。

• 拉格朗日乘子：引入 αi​ 将不等式约束转化为等式约束，构建拉格朗日函数进行优化。

4. 拉格朗日乘子法与对偶问题的求解

• 拉格朗日乘子法：将原问题转化为对偶问题。

• 对偶问题：在对偶问题中，参数 αi​ 成为主变量，满足 αi​≥0 且 ∑αi​yi​=0。

• 模型参数：w=∑αi​yi​xi​，b 由 b=yi​−wTxi​ 推导得出。

• 预测模型：y^​=sign(∑αi​yi​xiT​xj​+b)。

5. 数学推导中的关键技巧与目的

• 误差为零：通过引入 yi​(wTxi​+b)≥1 的条件，确保模型预测与真实标签一致。

• 简化计算：通过对目标函数进行放缩（如乘以 21​）简化计算。

• 等价转换：利用 ∥w∥−1 的最大化等价于 ∥w∥ 的最小化。

• 求导处理：通过处理 αi​ 转换变量，减少参数数量，提升求解效率。