NJU 凸优化导论(8) Lagrange Dual 拉格朗日对偶
目录
The Lagrange dual function 拉格朗日对偶函数（L的下界）
一、Examples
1. Least-squares solution of linear equations 线性等式 最小平方
2. Standard form LP
3. Two-way partitioning problem 二元划分 x为 1 / -1
二、Conjugate functions 共轭函数
1. Equality constrained norm minimization 等式约束的范数最小
2. Entropy Maximization 熵的最大化
3. Minimum volume covering ellipsoid 最小体积覆盖椭球
三、Making dual constraints explicit 明确对偶约束
四、Strong Duality and Slater’s Constraint Qualification强对偶以及斯拉特条件
1. QCQP 二次函数二次约束问题
2. Nonconvex Quadratic Problem 非凸二次问题
不假设f0凸，有最优值p*
The Lagrange dual function 拉格朗日对偶函数（L的下界）
后面约束≤0 所以拉格朗日对偶函数的最小值 ≤ 原问题最小值。所以可得一个p*的下界。
像这样，每个λ都对应一个＜p*的对偶最小值
这个关于λ的函数 g(λ)是一个凹函数
用指示函数改写 在正确范围 指示函数 I 就是 0 范围不在定义域就 ∞
我们上面的拉格朗日对偶 在f和h前加上系数 表示我们更喜欢比较小的f 对>0的f 接受但惩罚
一、Examples
1. Least-squares solution of linear equations 线性等式 最小平方
g都 ≤ 原问题下界
2. Standard form LP
不等式约束就是 
若x前系数不为0 就可以到负无穷
3. Two-way partitioning problem 二元划分 x为 1 / -1
每选一个v 都能得到一个下界
（还有一种把范围放大的松弛方式 每个为1 松弛为和为n）
二、Conjugate functions 共轭函数
在凸函数那里讲到过共轭函数 可对应我之前的博客复习一下
这种 不等式&等式 约束的共轭；后面求共轭的example 把矩阵对应带入即可
λ v二元 与 f0 最大距离
1. Equality constrained norm minimization 等式约束的范数最小
也可写作 
2. Entropy Maximization 熵的最大化
3. Minimum volume covering ellipsoid 最小体积覆盖椭球
三、Making dual constraints explicit 明确对偶约束
每个λ都可对应到一个 对偶下界 我们要最紧的那个对偶下界 即为g的最大值
2. Standard form LP 上面的标准LP可把对偶约束 如下变换
再看一个只有不等式约束的例子
Weak duality 弱对偶性
对偶问题最大值 ≤ 原问题最小值 
四、Strong Duality and Slater’s Constraint Qualification强对偶以及斯拉特条件
对偶最优=原问题最优 
相当于可以拿对偶问题求解原问题
一种强对偶的充分条件
对于凸规划 如果能找到 D的相对内部点x 使得这些约束可以都严格成立 
还有个弱化版：仿射不等式约束 可不严格成立 并且f0定义域为开集
1. Least-squares solution of linear equations 线性等式 最小平方
这个问题无不等式约束 可以找到内部点 x=0 故是强对偶的
同理对于 Standard form LP 只要原问题或者对偶问题存在可行点 就是强对偶的
原问题和对偶问题分别为
如果存在相对内部点x 满足
即为强对偶
对偶问题对v求导 
代入得
3. Minimum volume covering ellipsoid 最小体积覆盖椭球
若存在相对内部点x 满足 
即为强对偶
1. QCQP 二次函数二次约束问题
2. Nonconvex Quadratic Problem 非凸二次问题
由半正定 最小特征值 ≥0
转化为特征值λ 特征向量q 可把对偶问题写作
进而推广到更一般的结论：对于任何具有二次目标函数和一个二次不等式约束的优化问题
只要斯莱特条件（Slater’s condition ）成立，就有强对偶性