凸优化第五章对偶 5.1Lagrange对偶函数

5.1Lagrange对偶函数

1. Lagrange
2. Lagrange对偶函数
3. 最优值的下界
4. 例子
5. Lagrange对偶函数和共轭函数

Lagrange

标准形式的优化问题：

其中，问题的定义域，注意这里不要求该优化问题是凸优化问题。

定义问题的Lagrange函数为：

定义域：，为第i个不等式约束对应的Lagrange乘子，为第i个等式约束对应的Lagrange乘子。向量为对偶变量或者问题的Lagrange乘子向量。

Lagrange对偶函数

定义Lagrange对偶函数为Lagrange函数关于x取得的最小值：即对有

如果Lagrange函数关于x无下界，则。

无论原优化问题是不是凸问题，其Lagrange对偶函数都是凹函数，因为其Lagrange对偶函数是关于的仿射函数的逐点下确界，故为凹函数。（仿射函数是凸函数，一系列凸函数的逐点上确界是凸函数，逐点下确界是凹函数。）

最优值的下界

对偶问题构成了原问题最优解的下界。即，下式成立：

显然：对于任意的x是可行解，

例子

线性等式的最小范数

Lagrange对偶函数是为了最小化L，

带入得到

即为，所以

标准的线性规划

Lagrange对偶函数是

为了最小化L，

因为L是仿射函数，所以

如果。

双向划分问题

其中，约束要求x的分量要么是1要么是-1。将此问题看出n个元素的集合，将其划分为

将矩阵系数看成是分量i和j在同一分区内的成本，将矩阵系数看成是分量i和j在不同分区内的成本，所以目标函数就是寻找是成本最小的划分。

Lagrange对偶函数是

而

对x求极小得到

Lagrange对偶函数和共轭函数

回忆：的共轭函数为：

对一个优化问题：

其对偶函数：

等式约束的范式最小化

Lagrange对偶函数是,

已知范数的共轭函数

所以

如果。

熵最大化问题

Lagrange对偶函数是

,

已知目标函数的共轭函数

所以

是A的第i列向量。