8.26 支持向量机

一、机器学习--支持向量机

1、样本空间中寻找一个“划分超平面”，把不同类别的样本分开。

2、理想超平面的标准

不是随便能分开就行，而是对训练样本的局部扰动“容忍度”最好。

3、优化目标

把“容忍度”量化成几何间隔。

4、支持向量

真正能决定超平面位置和方向的关键样本点，叫“支持向量”；去掉其他点，超平面不变。

5、超平面与距离

给出 n 维空间中“超平面”的通用方程：w·x + b = 0。

推导出“点到超平面距离”的解析式，为最大化 margin 提供计算依据。

6、引入中间变量α实现参数降维

为降低W和B两个变量的求解复杂度，提出引入中间变量α，通过α表示W和B，实现从双变量问题向单变量问题的转换。
α作为关键中介变量，使得在后续求导过程中可有效减少未知数个数

7、 基于KKV条件构建优化方程

所有推导均基于KKV（KKT 条件的缩写，由三位科学家提出）建立，该条件为拉格朗日乘数法中约束优化的关键数学基础。KKV 条件的使用确保了所推导出的偏导结果具有严格的数学合理性。

8、 极值求解流程

通过对目标函数关于W和B分别求偏导，得到两个关键方程，进而求得W和B的具体表达式
在代入原始函数并化简后，最终表达式中仅保留α。

9、最大值问题的等价转换

原始问题中“最大化”被转化为“最小化”问题，通过变换表达式（如a−B → B−a），实现目标函数结构的简化，该转换使后续求解更易操作，且不影响最优解的准确性。

二、

1. KKT条件下的偏导求解过程

在KKT转换后，首先对W和B求偏导，获得中间变量me的值，但尚未完成极值求解。
随后因变量中不再包含W和B，转而对α求偏导，以求取极大值。
极大值与极小值转换过程中，a−b与b−a互为相反数，本质是同一优化问题的正负表达。
整体过程虽有转换，但逻辑清晰，关键难点在于求偏导及极值点的计算。

2. 软间隔与松弛因子的设计

引入松弛因子以处理异常值或离群点，使分类条件由“必须大于等于1”放宽为“大于等于1−松弛因子”。
松弛因子越大，容忍错误越宽松；越小则要求越严格，接近原硬间隔约束。

3. C参数的作用与目标函数调整。
C值越大，目标函数值越大，迫使模型追求更小的分类间隔，分类越严格；C值越小，容忍更多错误，模型趋于“摆烂”。
C是一个可手动调整的超参数，直接影响模型的泛化能力与过拟合风险。

4. 低维不可分问题的高维映射解决

当低维空间无法用直线分隔两类数据时，可通过映射到高维空间实现可分。
例如，蓝色点与红色点在低维不可分，但在高维空间中通过非线性变换（如核函数）可映射到可分位置。