约束问题的最优性条件

约束最优化问题：

min ⁡ f ( x ) , x ∈ R n , s.t. c i ( x ) = 0 , i ∈ E = { 1 , 2 , ⋯   , l } , c i ( x ) ⩽ 0 , i ∈ I = { l + 1 , l + 2 , ⋯   , l + m } . \begin{aligned} \min \quad& f(\boldsymbol{x}), \quad \boldsymbol{x} \in R^n, \\ \text{s.t.} \quad &c_i(\boldsymbol{x}) = 0, i \in E = \{1, 2, \cdots, l\},\\ &c_i(\boldsymbol{x}) \leqslant 0, i \in I = \{l + 1, l + 2, \cdots, l + m\}. \end{aligned} mins.t.​f(x),x∈Rn,ci​(x)=0,i∈E={1,2,⋯,l},ci​(x)⩽0,i∈I={l+1,l+2,⋯,l+m}.​

约束问题局部解的一阶必要条件

等式约束问题

引入Lagrange函数

$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda c(\mathbf{x}),$$

由此得到，若${\mathbf{x}}^{\ast }$是约束问题的局部解，则存在${\lambda }^{\ast }$，使得

$$\{\begin{array}{l}{\nabla }_{\mathbf{x}}L({\mathbf{x}}^{\ast },{\lambda }^{\ast })=\nabla f({\mathbf{x}}^{\ast })+{\lambda }^{\ast }\nabla c({\mathbf{x}}^{\ast })=0,\\ c({\mathbf{x}}^{\ast })=0(\text{相当于 }{\nabla }_{\lambda }L({\mathbf{x}}^{\ast },{\lambda }^{\ast })=0).\end{array}$$

注意，这里Lagrange函数相当于无约束问题中目标函数所起的作用，即在局部解处其梯度为 0。

不等式约束问题

引入Lagrange函数

$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda c(\mathbf{x}),$$

若${\mathbf{x}}^{\ast }$是约束问题的局部解，则存在${\lambda }^{\ast }$满足

$${\nabla }_{\mathbf{x}}L({\mathbf{x}}^{\ast },{\lambda }^{\ast })=\nabla f({\mathbf{x}}^{\ast })+{\lambda }^{\ast }\nabla c({\mathbf{x}}^{\ast })=0,$$

$$c({\mathbf{x}}^{\ast })⩽0,$$

$${\lambda }^{\ast }⩾0,$$

$${\lambda }^{\ast }c({\mathbf{x}}^{\ast })=0.$$

定理 （约束问题局部解的一阶必要条件）

设约束问题中$f(\mathbf{x})$,$c_i(\mathbf{x})$($i=1,2,\cdots ,l+m$) 具有连续的一阶偏导数，若${\mathbf{x}}^{\ast }$是约束问题的局部解，并且在${\mathbf{x}}^{\ast }$处约束限制条件成立（即$F^{\ast }={\mathcal{F}}^{\ast }$），则存在常数${\mathbf{\lambda }}^{\ast }=({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_{l+m}^{\ast }{)}^T$，使得

$${\nabla }_{\mathbf{x}}L({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast })=\nabla f({\mathbf{x}}^{\ast })+\sum _{i=1}^{l+m}{\lambda }_i^{\ast }\nabla c_i({\mathbf{x}}^{\ast })=0,（驻点）$$

c i ( x ∗ ) = 0 , i ∈ E = { 1 , 2 , ⋯   , l } , （原问题可行性） c_i(\boldsymbol{x}^*) = 0, \quad i \in E = \{1, 2, \cdots, l\},（原问题可行性） ci​(x∗)=0,i∈E={1,2,⋯,l},（原问题可行性）

c i ( x ∗ ) ⩽ 0 , i ∈ I = { l + 1 , l + 2 , ⋯   , l + m } , （原问题可行性） c_i(\boldsymbol{x}^*) \leqslant 0, \quad i \in I = \{l + 1, l + 2, \cdots, l + m\}, （原问题可行性） ci​(x∗)⩽0,i∈I={l+1,l+2,⋯,l+m},（原问题可行性）

λ i ∗ ⩾ 0 , i ∈ I = { l + 1 , l + 2 , ⋯   , l + m } , （对偶问题可行性） \lambda_i^* \geqslant 0, \quad i \in I = \{l + 1, l + 2, \cdots, l + m\},（对偶问题可行性） λi∗​⩾0,i∈I={l+1,l+2,⋯,l+m},（对偶问题可行性）

λ i ∗ c i ( x ∗ ) = 0 , i ∈ I = { l + 1 , l + 2 , ⋯   , l + m } , （互补松弛条件） \lambda_i^* c_i(\boldsymbol{x}^*) = 0, \quad i \in I = \{l + 1, l + 2, \cdots, l + m\},（互补松弛条件） λi∗​ci​(x∗)=0,i∈I={l+1,l+2,⋯,l+m},（互补松弛条件）

其中$L(\mathbf{x},\mathbf{\lambda })$为 Lagrange 函数

$$L(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})+\sum _{i=1}^{l+m}{\lambda }_i{c}_i(\mathbf{x}).$$

互补松弛的英文是 “complementary slackness”。如果某个不等式约束是松的（即没有紧贴其边界），那么对应的Lagrange乘子为零；相反，如果Lagrange乘子非零，那么对应的不等式约束必须是紧的（即处于其边界的限制上）。这种关系被称为互补松弛条件。

由于这一定理是 Kuhn 和 Tucker (1951) 给出的，因此称上述一阶必要条件为 Kuhn-Tucker 条件（Kuhn-Tucker Conditions），或简称为 K-T 条件。称满足一阶必要条件的点为 Kuhn-Tucker 点，或简称 K-T 点。由于函数 (8.2.28) 的思想可追溯到 Lagrange (1760-1761)，因此称为 Lagrange 函数，称${\mathbf{\lambda }}^{\ast }$为${\mathbf{x}}^{\ast }$处的 Lagrange 乘子（Lagrange Multipliers）。

后人发现 Karush 早在 1939 年就发现了类似地最优性条件，所以一阶必要条件也称为 Karush-Kuhn-Tucker 条件，或 K-K-T 条件，称满足一阶必要条件的点为 K-K-T 点。

在数学，特别是微积分和优化理论中，驻点（Stationary point）是指函数的一阶导数为零的点。这个概念在寻找函数的极值（最大值或最小值）时非常重要。在多变量函数中，驻点是梯度向量为零的点。驻点可以是局部极大值、局部极小值或者鞍点。在最优化问题中，特别是约束优化问题中，K-T 点（满足 Kuhn-Tucker 条件的点）也是一种特殊的驻点。