使用cvx工具箱求解svm的原问题及其对偶问题

要使用CVX工具箱求解支持向量机（SVM）的原问题和对偶问题，需分别构建优化模型并求解

---

1. SVM原问题（硬间隔）

优化目标：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2$$
约束条件：
$$y_i(w^T{x}_i+b)\ge 1\forall i$$

% 生成线性可分数据（示例）
rng(1);
X = [randn(20,2) + 2; randn(20,2) - 2];  % 两类数据
y = [ones(20,1); -ones(20,1)];           % 标签 [1, -1]% 使用CVX求解原问题
cvx_beginvariables w(2) b;        % 优化变量：权重w和偏置bminimize(0.5 * sum(w.^2)); % 目标函数subject toy .* (X * w + b) >= 1; % 线性约束
cvx_end% 可视化结果
scatter(X(:,1), X(:,2), [], y, 'filled');
hold on;
x1 = min(X(:,1)):0.1:max(X(:,1));
x2 = (-w(1)*x1 - b) / w(2);  % 决策边界 w1*x1 + w2*x2 + b = 0
plot(x1, x2, 'k-', 'LineWidth', 2);
title('SVM Primal Solution');
legend('Class 1', 'Class -1', 'Decision Boundary');

---

2. SVM对偶问题（硬间隔）

优化目标：
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
约束条件：
$${\alpha }_i\ge 0\forall i,\sum _{i=1}^m{\alpha }_i{y}_i=0$$

% 计算核矩阵（线性核）
m = size(X,1);
K = X * X';        % 线性核矩阵
H = (y * y') .* K; % 对偶问题中的Hessian矩阵% 使用CVX求解对偶问题
cvx_beginvariable alpha(m);       % 优化变量：拉格朗日乘子maximize(sum(alpha) - 0.5 * quad_form(alpha, H)); % 目标函数subject toalpha >= 0;         % 不等式约束y' * alpha == 0;    % 等式约束
cvx_end% 从alpha恢复原始参数w和b
w_dual = (alpha .* y)' * X; % w = Σ(α_i y_i x_i)
idx = find(alpha > 1e-4);   % 找到支持向量（α>0）
b_dual = mean(y(idx) - X(idx,:) * w_dual'); % 计算偏置b% 可视化对偶问题结果
scatter(X(:,1), X(:,2), [], y, 'filled');
hold on;
x2_dual = (-w_dual(1)*x1 - b_dual) / w_dual(2);
plot(x1, x2_dual, 'r--', 'LineWidth', 2);
title('SVM Dual Solution');
legend('Class 1', 'Class -1', 'Decision Boundary (Dual)');

---

说明

1. 原问题与对偶问题等价性：
   在硬间隔线性可分情况下，两者解应一致（决策边界重合）。若有轻微差异，可能因数值精度或支持向量选择阈值（1e-4）导致。

2. 支持向量识别：
   对偶问题中，非零 ${\alpha }_i$ 对应支持向量，位于边界 $y_i(w^T{x}_i+b)=1$ 上。

3. 软间隔扩展：
   若数据非线性可分，引入松弛变量 ${\xi }_i$ 和惩罚参数 $C$：

   • 原问题：
     $$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _i{\xi }_i$$
     $$y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0$$
   • 对偶问题：
     约束改为 $0\le {\alpha }_i\le C$，其余不变。

4. 非线性SVM：
   使用核技巧时，将对偶问题中的内积 $x_i^T{x}_j$ 替换为核函数 $K(x_i,x_j)$（如高斯核）。

参考 使用cvx工具箱求解svm的原问题及其对偶问题 youwenfan.com/contentcsk/66111.html

---

结果

• 比较 w（原问题）和 w_dual（对偶问题），应接近。
• 决策边界应正确分离两类数据。
• 支持向量位于边界上（对偶问题中 ${\alpha }_i>0$ 的点）。