最优化理论与方法 第二章

最优化理论与方法 第二章 一维搜索

• 2.1 引言
• 2.2 精确一维搜索的收敛理论
• 2.3 0.618法和Fibonacci法
• 0.618法
• Fibonacci法
• 二分法
• 2.4 插值法
• 二次插值法
• 一点二次插值法(牛顿法)
• 二点二次插值法(I)
• 二点二次插值法(II)
• 三点二次插值法
• 三次插值法
• 2.5 不精确一维搜索方法
• Armijo-Goldstein准则
• Wolfe-Powell准则

2.1 引言

所谓一维搜索,又称线性搜索,就是指单变量函数的最优化.
$x_{k+1} = x_k + \alpha_kd_k$xk+1​=xk​+αk​dk​
关键在于$\alpha_k$αk​和$d_k$dk​

一维搜索的主要结构:
首先确定包含问题最优解的搜索区间,再采用某种分割技术或插值方法缩小这个区间,进行搜索求解.

确定搜索区间的方法:进退法

2.2 精确一维搜索的收敛理论

精确一维搜索准则
$f(x_k+\alpha_k d_k) = \min \limits_{\alpha \ge 0}f(x_k+\alpha d_k)$f(xk​+αk​dk​)=α≥0min​f(xk​+αdk​)

一般求出$\varphi(\alpha)$φ(α)的第一个平稳点,即选取$\alpha_k$αk​使得
$\alpha_k = \min \{\alpha | \nabla f(x_k+\alpha d_k)^\mathrm{T} d_k=0 , \alpha > 0$αk​=min{α∣∇f(xk​+αdk​)Tdk​=0,α>0

2.3 0.618法和Fibonacci法

这两种方法都是分割方法.其基本思想是通过取试探点和进行函数值的比较.

0.618法

0.618法要求一维搜索的函数是单峰函数

Fibonacci法

与0.618的主要区别在于:搜索区间长度的缩短率不是采用黄金分割数,而是采用Fibonacci数.
$\begin{aligned} &F_0=F_1=1 \\ &F_{k+1} = F_k+F_{k-1} \end{aligned}$​F0​=F1​=1Fk+1​=Fk​+Fk−1​​

二分法

基本思想是通过计算函数导数值来缩短搜索区间

2.4 插值法

基本思想是在搜索区间中不断用低次(通常不超过三次)多项式来近似目标函数,并逐步用插值多项式的极小点来逼近一维搜索问题
$\min \limits_\alpha \varphi(\alpha)$αmin​φ(α)
的极小点.

二次插值法

一点二次插值法(牛顿法)

$\alpha_{k+1}=\alpha_k-\varphi^{'}(\alpha_k)/\varphi^{''}(\alpha_k)$αk+1​=αk​−φ′(αk​)/φ′′(αk​)

二点二次插值法(I)

$\alpha_{k+1}=\alpha_k-\frac {(\alpha_k-\alpha_{k-1})\varphi^{'}_k} {2[\varphi^{'}_k-\frac {\varphi_k-\varphi_{k-1}} {\alpha_k-\alpha_{k-1}}]}$αk+1​=αk​−2[φk′​−αk​−αk−1​φk​−φk−1​​](αk​−αk−1​)φk′​​

二点二次插值法(II)

$\alpha_{k+1}=\alpha_k-\frac {\alpha_k-\alpha_{k-1}} {\varphi^{'}_k-\varphi^{'}_{k-1}}\varphi^{'}_k$αk+1​=αk​−φk′​−φk−1′​αk​−αk−1​​φk′​

三点二次插值法

三次插值法

用一个三次四项式来逼近被极小化的函数$\varphi(\alpha)$φ(α)

2.5 不精确一维搜索方法

精确一维搜索方法往往需要花费很大的工作量,因此,我们只要保证目标函数在每一步都有满意的下降即可

Armijo-Goldstein准则

Wolfe-Powell准则