多元线性回归Tips

一、多元线性回归Tips

1.凸集

凸集定义：设集合 $D\in R^{n}$ ，如果对任意的 $x,y\in D$ 与任意的 $a\in \left[0,1\right]$ ，有 $ax+\left(1-a \right)y \in D$ ，则称集合 $D$ 是凸集。
凸集的几何意义是：若两个点属于此集合，则这两点连线上的任意一点均属于此集合。
如上两图所示，左边是凸集、右边是非凸集

2.梯度

梯度定义：设 $n$ 元函数 $f\left(x\right)$ 对自变量 $x=\left(x_{1},x_{2},\cdots ,x_{n} \right)^T$ 的各分量 $x_{i}$ 的偏导数 $\frac{\partial f\left (x \right )}{\partial x_{i}}\left ( i=1,2,\cdots,n\right )$ 都存在，则称函数 $f\left(x\right)$ 在 $x$ 处一阶可导，并称向量 $\bigtriangledown f\left ( x\right )= \begin{pmatrix} \frac{\partial f\left ( x\right )}{\partial x_{1}}\\ \frac{\partial f\left ( x\right )}{\partial x_{2}}\\ \cdots \\ \frac{\partial f\left ( x\right )}{\partial x_{n}}\\ \end{pmatrix}$
为函数 $f\left(x\right)$ 在 $x$ 处的一阶导数或者梯度，记为 $\bigtriangledown f \left (x \right )$ （列向量）

3.Hessian矩阵（海塞矩阵）

Hessian（海塞）矩阵定义：设 $n$ 元函数 $f\left(x\right)$ 对自变量 $x=\left(x_{1},x_{2},\cdots ,x_{n} \right)^T$ 的各个分量 $x_{i}$ 的二阶偏导数 $\frac{\partial^2 f\left (x \right )}{\partial x_{i}^2}\left ( i=1,2,\cdots,n;i=1,2,\cdots,n\right )$ 都存在，则称函数 $f\left(x\right)$ 在 $x$ 处二阶可导，并称矩阵 $\bigtriangledown^2 f\left ( x\right )= \begin{pmatrix} \frac{\partial^2 f\left ( x\right )}{\partial x_{1}^2}& \frac{\partial^2 f\left ( x\right )}{\partial x_{1}\partial x_{2}}&\cdots&\frac{\partial^2 f\left ( x\right )}{\partial x_{1}\partial x_{n}}\\ \frac{\partial^2 f\left ( x\right )}{\partial x_{2}\partial x_{1}}& \frac{\partial^2 f\left ( x\right )}{\partial x_{2}^2}&\cdots&\frac{\partial^2 f\left ( x\right )}{\partial x_{2}\partial x_{n}}\\ \cdots&\cdots&\ddots &\cdots& \\ \frac{\partial^2 f\left ( x\right )}{\partial x_{n}\partial x_{1}}& \frac{\partial^2 f\left ( x\right )}{\partial x_{n}\partial x_{2}}&\cdots&\frac{\partial^2 f\left ( x\right )}{\partial x_{n}^2}\\ \end{pmatrix}$
为 $f\left(x\right)$ 在 $x$ 处的二阶导数或者Hessian矩阵，记为 $\bigtriangledown^2f\left(x\right)$ ，若 $f\left(x\right)$ 对 $x$ 各变元的所有二阶偏导数都连续，则 $\frac{\partial^2 f\left ( x\right )}{\partial x_{i}\partial x_{j}}=\frac{\partial^2 f\left ( x\right )}{\partial x_{j}\partial x_{i}}$ 此时 $\bigtriangledown^2f\left(x\right)$ 为对称矩阵。
补充在二元函数中，如果 $f\left(x,y\right)$ 对于 $x,y$ 的二阶偏导数都连续，则 ${f}''_{xy}={f}''_{yx}$

4.多元实值函数凹凸性判定定理

设 $D\subset R^n$ 是非空开凸集， $f:D\subset R^n \rightarrow R$ ，且 $f\left(x\right)$ 在 $D$ 上二阶连续可微，如果 $f\left(x\right)$ 的Hessian矩阵 $\bigtriangledown^2 f\left(x\right)$ 在 $D$ 上是正定的，则 $f\left(x\right)$ 在 $D$ 上的严格凸函数。

5.凸充分性定理

若 $f:R^n \rightarrow R$ 是凸函数，且 $f\left(x\right)$ 一阶连续可微，则 $x^*$ 是全局解的充分必要条件是 $\bigtriangledown f\left(x^*\right)=\vec{0}$ ，其中 $\bigtriangledown f\left(x\right)$ 为 $f\left(x\right)$ 关于 $x$ 的一阶导数（也称梯度）。

6.[标量-向量]的矩阵微分公式

$\frac {\partial y}{\partial x}=\begin{pmatrix} \frac {\partial y}{\partial x_{1}} \\ \frac {\partial y}{\partial x_{2}} \\ \vdots \\ \frac {\partial y}{\partial x_{n}} \\ \end{pmatrix}\;\;\;\;\;\frac {\partial y}{\partial x}=\begin{pmatrix} \frac {\partial y}{\partial x_{1}} & \frac {\partial y}{\partial x_{2}} & \cdots & \frac {\partial y}{\partial x_{n}} & \end{pmatrix}$

左式为分母布局（默认采用），右式为分子布局，其中， $x=(x_{1},x_{2},\cdots,x_{n})^T$ 为 $n$ 维列向量， $y$ 为 $x$ 的 $n$ 元标量函数
由【标量-向量】的矩阵微分公式可推得：
$\frac {\partial x^T\vec{a}}{\partial x}=\frac {\partial \vec{a}^Tx}{\partial x}=\begin{pmatrix} \frac {\partial \left(a_{1}x_{1}+a_{2}x_{2}+\cdots+a_{n}x_{n} \right)}{\partial x_{1}} \\ \frac {\partial \left(a_{1}x_{1}+a_{2}x_{2}+\cdots+a_{n}x_{n} \right)}{\partial x_{2}} \\ \cdots \\ \frac {\partial \left(a_{1}x_{1}+a_{2}x_{2}+\cdots+a_{n}x_{n} \right)}{\partial x_{n}} \\ \end{pmatrix}=\begin{pmatrix} a_{1} \\ a_{2} \\ \cdots \\ a_{n} \\ \end{pmatrix} = \vec{a}$
同理可推得： $\frac {\partial x^TBx}{\partial x}=\left(B+B^T \right)x$