线性规划技巧: 如何写对偶问题

给定线性规划的原始问题, 本文介绍写如何方便地写出其对偶问题.

基本公式

我们先给出互为对偶问题的两种基本形式, 作为后续写对偶问题的基础.

1. 原问题的约束是不等式

2. 原问题的约束是等式

总结

1. 原问题的一个约束对应一个对偶变量.
2. 对偶变量乘以原问题约束的右端($b$b)得到对偶问题的目标.
3. 原问题目标的系数$c$c对应对偶问题约束的右端.
4. 最小化对应最大化(反之亦然).
5. 如果原问题有等式约束, 对偶变量没有非负要求.

方法

1. 定义对偶变量

对原问题的每一个约束, 定义一个对偶变量$y_i$yi​. 如果一个约束是等式, 其对偶变量无非负限制.

2. 对偶变量乘约束

把对偶变量乘以原问题的约束. 约束右端$b^Ty$bTy即为对偶问题的目标.

3. 计算$x$x的系数

上一步把对偶变量乘以原问题的约束之后, 接着计算原问题约束中决策变量$x$x的系数$f(y) = A^Ty$f(y)=ATy, 从而得到对偶问题的约束$f(y) \leq c$f(y)≤c (假设原问题是最小化问题).

例子

#####1. 矩阵形式

原问题
$\begin{aligned} \min ~ & c^Tx \\ \text{s.t. } & Ax \geq b & \rightarrow \quad \alpha \\ & Bx = d & \quad \rightarrow \quad \beta \\ & x \geq 0 \end{aligned}$min s.t. ​cTxAx≥bBx=dx≥0​→α→β​

定义对偶变量$\alpha$α, $\beta$β, 分别对应原问题的约束$Ax\geq b$Ax≥b和$Bx=d$Bx=d.

• 用$b^T, d^T$bT,dT乘以$\alpha$α, $\beta$β然后求和得到对偶目标: $b^T\alpha + d^T\beta$bTα+dTβ
• 用$A^T, B^T$AT,BT 乘以$\alpha, \beta$α,β然后求和得到约束: $A^T \alpha + B^T\beta \leq c$ATα+BTβ≤c
• $\beta$β对应等式约束, 因此不要求非负

对偶问题
$\begin{aligned} \min~& b^T \alpha + d^T \beta \\ \text{s.t. } & A^T \alpha + B^T \beta \leq c \\ & \alpha \geq 0 \end{aligned}$min s.t. ​bTα+dTβATα+BTβ≤cα≥0​

2. 非矩阵形式

原问题

$\begin{aligned} \min ~ & \sum_{i=1}^n \sum_{j=1}^n l_{i,j} x_{i,j} \\ \text{s.t. } & \sum_{j=1}^n x_{i,j} - \sum_{j=1}^n x_{j,i} = 0, \quad \forall i\neq 1, n \quad & \rightarrow \quad y_i \\ & \sum_{j=1}^n x_{1,j} - \sum_{j=1}^n x_{j,1} = 1 & \rightarrow \quad y_1 \\ & \sum_{j=1}^n x_{n,j} - \sum_{j=1}^n x_{j,n} = -1 & \rightarrow \quad y_n \\ & x_{i,j} \geq 0, \quad \forall i, j \end{aligned}$min s.t. ​i=1∑n​j=1∑n​li,j​xi,j​j=1∑n​xi,j​−j=1∑n​xj,i​=0,∀i​=1,nj=1∑n​x1,j​−j=1∑n​xj,1​=1j=1∑n​xn,j​−j=1∑n​xj,n​=−1xi,j​≥0,∀i,j​→yi​→y1​→yn​​

如上面所示, 我们定义对偶变量$y_i$yi​, $i=1, 2, ..., n$i=1,2,...,n. 原问题的约束是等式约束, 因此不要求$y_i$yi​非负. 用$y_i$yi​乘以每个等式, 得到对偶问题的目标: $(1, 0, ..., 0, -1) \cdot y = y_1 - y_n$(1,0,...,0,−1)⋅y=y1​−yn​. 下面计算对偶问题的约束:

1. 给定$i,j$i,j, 计算原问题约束中$x_{i,j}$xi,j​的 系数之和, 记作$f_{ij}(y)$fij​(y).
2. 得到对偶问题的约束: $f_{ij}(y) \leq l_{ij}$fij​(y)≤lij​

为了方便描述, 我们使用新的下标$s, t$s,t, 并计算$x_{s, t}$xs,t​的系数. 详细的计算过程如下:

1. 第一组约束:
   $(a): \sum_{j=1}^n y_i \cdot x_{i,j} - \sum_{j=1}^n y_ i \cdot x_{j,i} = 0$(a):∑j=1n​yi​⋅xi,j​−∑j=1n​yi​⋅xj,i​=0. 注意$i=2, 3, ..., n-1$i=2,3,...,n−1.

• 当$i=s$i=s时, $x_{s, j}$xs,j​的系数是$y_s$ys​, $\forall j$∀j
• 当$i=t$i=t时, $x_{j, t}$xj,t​的系数是$-y_t$−yt​, $\forall j$∀j
• $x_{s,t}$xs,t​的系数之和是$y_s-y_t$ys​−yt​. 注意: $s, t \neq 1, n$s,t​=1,n.
• 得到对偶问题的约束: $x_{s, t} \leq l_{s,t}$xs,t​≤ls,t​, $\forall s, t \neq 1, n$∀s,t​=1,n

2. 第二组和第三组约束:
   $(b): \sum_{j=1}^n y_1 \cdot x_{1,j} - \sum_{j=1}^n y_1 \cdot x_{j,1} = y_1$(b):∑j=1n​y1​⋅x1,j​−∑j=1n​y1​⋅xj,1​=y1​
   $(c): \sum_{j=1}^n y_n \cdot x_{n,j} - \sum_{j=1}^n y_n \cdot x_{j,n} = -y_n$(c):∑j=1n​yn​⋅xn,j​−∑j=1n​yn​⋅xj,n​=−yn​

• 当$s=1, t=n$s=1,t=n时, $x_{1, n}$x1,n​的系数之和为$y_1-y_n$y1​−yn​ (参考$(b), (c)$(b),(c))
• 当$s=1, t=1$s=1,t=1时, $x_{1,1}$x1,1​的系数之和为$y_1-y_1=0$y1​−y1​=0 (参考$(b)$(b))
• 当$s=1$s=1, $t=2, ..., n-1$t=2,...,n−1时, $x_{1,t}$x1,t​的系数之和为$y_1 - y_t$y1​−yt​ (参考$(b), (a)$(b),(a))
• 当$s=n, t=1$s=n,t=1时, $x_{n, 1}$xn,1​的系数之和为$y_n - y_1$yn​−y1​ (参考$(b), (c)$(b),(c))
• 当$s=n, t=n$s=n,t=n时, $x_{n, n}$xn,n​的系数之和为$y_n - y_n$yn​−yn​ (参考$(c)$(c))
• 当$s=n, t=2, ..., n-1$s=n,t=2,...,n−1时, $x_{n, t}$xn,t​的系数之和为$y_n - y_t$yn​−yt​ (参考$(c), (a)$(c),(a))

综合上面所有对偶问题的约束, 我们得到:
$y_s - y_t \leq l_{s,t}, \quad \forall s, t = 1,2, ..., n.$ys​−yt​≤ls,t​,∀s,t=1,2,...,n.

对偶问题
$\begin{aligned} \max ~ & y_1 - y_n \\ \text{s.t. } & y_i - y_j \leq l_{ i, j}, \quad \forall i, j = 1, 2, ... ,n. \end{aligned}$max s.t. ​y1​−yn​yi​−yj​≤li,j​,∀i,j=1,2,...,n.​

练习

Ex1

原问题

$\begin{aligned} \min ~ & \sum_{i=1}^m \sum_{j=1}^n c_{i,j} x_{i,j} + \sum_{i=1}^m f_i y_i \\ \text{ s.t. } & \sum_{i=1}^m x_{i, j} = 1,\quad \forall j & \rightarrow \quad \alpha_j \\ & x_{i, j} \leq y_i, \quad \forall i, j & \rightarrow \quad \beta_{ i, j} \\ & x_{i, j} \geq 0, y_i \geq 0, \quad \forall i, j \end{aligned}$min  s.t. ​i=1∑m​j=1∑n​ci,j​xi,j​+i=1∑m​fi​yi​i=1∑m​xi,j​=1,∀jxi,j​≤yi​,∀i,jxi,j​≥0,yi​≥0,∀i,j​→αj​→βi,j​​

对偶问题

$\begin{aligned} \max ~ & \sum_{j=1}^n \alpha_j \\ \text{ s.t. } & \alpha_j - \beta_{i,j} \leq c_{i,j}, \quad \forall i,j \\ & \beta_{i, j} \leq f_i, \quad \forall i, j \\ & \beta_{i, j} \geq 0, \quad \forall i, j \end{aligned}$max  s.t. ​j=1∑n​αj​αj​−βi,j​≤ci,j​,∀i,jβi,j​≤fi​,∀i,jβi,j​≥0,∀i,j​

Ex2

原问题
$\begin{aligned} \max ~ & \sum_{e \in E} w_e x_e \\ \text{ s.t. } & \sum_{e\ni v} x_e = 1, \quad \forall v\in V \quad \rightarrow y_v \\ & x_e \geq 0 \end{aligned}$max  s.t. ​e∈E∑​we​xe​e∋v∑​xe​=1,∀v∈V→yv​xe​≥0​

对偶问题

$\begin{aligned} \min ~ & \sum_{ v \in V } y_v \\ \text{ s.t. } & y_u + y_v \geq w_e, \quad \forall e \in E, ~ e=(u,v) \end{aligned}$min  s.t. ​v∈V∑​yv​yu​+yv​≥we​,∀e∈E, e=(u,v)​