凸优化：鞍点和对偶停止设计准则

概述

• 鞍点
• Lagrange对偶设计最优停止准则

---

鞍点

对偶问题的一些重要性补充：鞍点。借助鞍点和拉格朗日函数，可以将对偶问题和原问题以一种比较美的对称方式进行表述。

不失一般性，假设仅有不等式约束(因为取得最优点时，等式约束$h_i(x^{\star })=0$)

首先注意到
$$\underset{\lambda ⪰0}{\sup }L(x,\lambda )=\underset{\lambda ⪰0}{\sup }\left(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)\right)=\{\begin{array}{ll}{f}_0(x)& f_i(x)\le 0,i=1,...,m\\ \infty & \text{其他}\end{array}$$
可见原问题的最优值$p^{\star }={\inf }_x{\sup }_{\lambda ⪰0}L(x,\lambda )$，根据前述对偶问题的最优值$d^{\star }={\sup }_{\lambda ⪰0}{\inf }_{x}L(x,\lambda )$。

假设弱对偶性成立，则有：
$$d^{\star }=\underset{\lambda ⪰0}{\sup }\underset{x}{\inf }L(x,\lambda )\le \underset{x}{\inf }\underset{\lambda ⪰0}{\sup }L(x,\lambda )=p^{\star }$$
该不等式又称作\textcolor{red}{极大极小不等式}。强对偶性成立时，上述不等式取得等号，此时称$(x^{\star },{\lambda }^{\star })$为鞍点(几何形状像马鞍的落点)，反之亦然，当$(x,\lambda )$是拉格朗日函数的鞍点，此时$(x,\lambda )$分别为原问题和对偶问题的最优解，且对偶间隙为0。

综上可见，当强对偶性成立时，原问题的最优解$x^{\star }$也是$L(x,{\lambda }^{\star },{\nu }^{\star })$的最优解，借此可从Lagrange函数中求得原问题的最优解。具体，当强对偶性成立，对偶最优解$({\lambda }^{\star },{\nu }^{\star })$已知，可通过下述求得带有约束的目标函数的最优解$x^{\star }$
$${\min }_x{f}_0(x)+\sum _{i=1}^m{\lambda }_i^{\star }{f}_i(x)+\sum _{i=1}^p{\nu }_i^{\star }{h}_i(x)$$
该优化准则也是前述KKT条件中的一条。

Note: 对偶视角求解带约束的优化问题
可以通过Lagrange函数求原问题的最优解，属于无约束的优化问题，优化起来相对较简单。并且当原优化问题仅有等式约束时，其对偶$g(\nu )$肯定是无约束优化问题，同样可以较为容易的求得最优解${\nu }^{\star }$，带入Lagrange函数中再做一次无约束优化，即可求得最优解$x^{\star }$。当对偶函数是带约束的优化问题，也可通过对原优化问题做诸如，引入新变量，变换目标函数，引入隐式约束等方式，有可能将变换后的对偶问题变为无约束优化(本质上仍旧是求解KKT条件，当对偶函数易于解析求解出最优拉格朗日乘子时，比较适用于该方法，可对比KKT一节中例题4.6加深理解)

对于带约束的优化问题，当直接对偶不好求解时，可考虑例如罚函数，增广拉格朗日函数，log-barrier，复合优化的视角(包括近端梯度下降，ADMM)等，后续会陆续介绍。

---

可借助Lagrange对偶设计最优停止准则

当最优值$p^{\star }$未知时，可借助对偶点界定可行点的接近程度。具体，假定$x$和$(\lambda ,v)$是原问题和对偶问题的可行点。根据对偶的性质：
$$g(\lambda ,v)\le p^{\star }$$
稍作变形可知：
$$f_0(x)-p^{\star }\le f_0(x)-g(\lambda ,v)$$
记$f_0(x)-g(\lambda ,v)=ϵ$,则上述不等式变成$ϵ-$次优的定义。根据定义该$ϵ$的距离也是原问题和对偶问题的对偶间隙。
当最优对偶间隙等于0，$x$取得最优解时，$(\lambda ,v)$也取得对偶最优解，因此可借助对偶解，设定停止准则。

假定$x^k,({\lambda }^k,v^k),k=1,2,...$是某算法的一系列迭代值，要求精度为$ϵ>0$，那么停止准则为：
$$f_0(x^k)-g({\lambda }^k,v^k)\le ϵ$$
可以保证算法停止时，是$ϵ-$次优。

Note:
在满足强对偶性时，最优对偶间隙为0，$ϵ$才可以任意小。