「日拱一码」146 SVR调参注意事项与技巧

目录

SVR 调参核心思想

关键参数

1. 核函数（kernel）

2. 惩罚参数 C

3. 核函数参数

4. epsilon（ϵ）

调参流程与技巧

代码示例

---

SVR 调参核心思想

SVR 的目标是找到一个函数 f(x)=⟨w,x⟩+b（线性核）或其在特征空间的映射（非线性核），使得尽可能多的数据点位于以该函数为中心、宽度为 2ϵ的“隔离带”内。调参的本质就是平衡模型的复杂性（避免过拟合）和对数据的拟合程度（避免欠拟合）。

关键参数

SVR 有三个核心超参数，理解它们是调参成功的关键。

1. 核函数（kernel）

这是最重要的选择，它决定了SVR如何将数据映射到高维特征空间以处理非线性关系。

• 常见类型：

  • 'linear'：线性核。适用于特征数量多、样本量相对较少，或问题本身就是近似线性的情况。计算速度快，可解释性强。
  • 'rbf'（默认值）：径向基函数核。最常用的非线性核，适用于大多数非线性问题。它通过衡量样本之间的“相似度”来工作，非常灵活。
  • 'poly'：多项式核。适用于数据理论上符合多项式关系的情况。参数更多（需要调 degree），通常不如 rbf 稳定。
  • 'sigmoid'：相当于一个单层神经网络，使用较少。

• 选择技巧与注意事项：

  • 首选 rbf：如果没有先验知识，从 rbf 核开始通常是一个安全且有效的选择。
  • 数据线性可分？：如果怀疑数据是线性的，可以尝试 linear，它更简单，不易过拟合。
  • 计算资源：linear 核的计算成本通常远低于 rbf，尤其在大数据集上。

2. 惩罚参数 C

C 定义了模型对错误的容忍度，是正则化强度的倒数。

• 物理意义：

  • C 值大：惩罚松弛变量（允许的误差）的力度大，模型会尽可