支持向量机(SVM)算法总结

核心思想
寻找最优划分超平面：最大化边界(margin)
关键概念：支持向量(离超平面最近的样本点)
目标：提高模型泛化能力和鲁棒性

数学原理
超平面方程：wᵀx + b = 0
点到超平面距离：|wᵀx + b|/||w||
优化目标：最大化最小几何间隔

关键特性
硬间隔SVM：完全线性可分情况
软间隔SVM：引入松弛变量处理噪声
核技巧：通过核函数处理非线性问题

支持向量作用
决定超平面位置
仅依赖少量支持向量
影响模型复杂度和泛化能力

优化方法
使用拉格朗日乘子法
转化为对偶问题求解
序列最小优化(SMO)算法

核函数应用
线性核：线性可分问题
多项式核：处理非线性关系
高斯核(RBF)：强大非线性处理能力
Sigmoid核：神经网络类似效果

优势特点
有效处理高维数据
小样本学习效果好
理论完备数学基础强
泛化能力优秀

适用场景
文本分类
图像识别
生物信息学
模式识别

实践要点
数据需要标准化处理
核函数选择影响性能
参数调优(C, gamma)很重要
计算复杂度随数据量增大