看看拟牛顿法

拟牛顿法

主要是针对无约束最小化问题的。

这里求导其实是把右边项看作 $x$x 的函数，只对 $x$x 求导， $x_k$xk​ 看作常数项。

昨天刚看到的 line search:


注意这里我们取了上一次 $x_k$xk​ 的值，做了类似于差分的效果。

---

一个矩阵小 trick

Sherman-Morrison公式

设 $A \in R^n$A∈Rn 为非奇异方阵，$\boldsymbol{\mu},\boldsymbol{v} \in R^n$μ,v∈Rn，若 $1 + \boldsymbol{v}^T A^{-1} \boldsymbol{\mu} \neq 0$1+vTA−1μ​=0，则

$(A + \boldsymbol{\mu} \boldsymbol{v}^T)^{-1} = A^{-1} - \frac{A^{-1} \boldsymbol{\mu} \boldsymbol{v}^T A^{-1}}{1 + \boldsymbol{v}^T A^{-1} \boldsymbol{\mu}}$(A+μvT)−1=A−1−1+vTA−1μA−1μvTA−1​

转载出处：https://www.zybuluo.com/evilking/note/973214
https://blog.csdn.net/songbinxu/article/details/79677948

BFGS/DFP算法实现海森矩阵的逼近，逼近方法也有好多小 trick。详情看转载文章吧。