逻辑斯蒂回归详解

文章目录

• 逻辑斯蒂分布
• 二项逻辑斯蒂回归模型
• 模型的参数估计

逻辑斯蒂分布

定义：设$X$X 是连续随机变量，$X$X 服从逻辑斯蒂分布是指$X$X 具有下列分布函数：
$F(x)=P(X\leqslant x)=\frac{1}{1+e^{(-(x-\mu)/\gamma)}}\\ f(x) = \frac{\mathrm{d}F(x)}{\mathrm{d}x} = \frac{e^{(-(x-\mu)/\gamma)}}{\gamma(1+e^{(-(x-\mu)/\gamma)})^2}$F(x)=P(X⩽x)=1+e(−(x−μ)/γ)1​f(x)=dxdF(x)​=γ(1+e(−(x−μ)/γ))2e(−(x−μ)/γ)​
式中： $\mu,\gamma$μ,γ 为参数。

其函数图像如下：

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布$P(Y|X)$P(Y∣X) 表示。$w=(w^{(1)},w^{(2)},\ldots,w^{(n)},b)^T$w=(w(1),w(2),…,w(n),b)T，$x=(x^{(1)},x^{(2)},\ldots,x^{(n)},1)$x=(x(1),x(2),…,x(n),1)，分类模型的条件概率分布如下：
$\begin{aligned} P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot x)}\\ P(Y=0|x)=\frac{1}{1+\exp(w\cdot x)}\\ \end{aligned}$P(Y=1∣x)=1+exp(w⋅x)exp(w⋅x)​P(Y=0∣x)=1+exp(w⋅x)1​​
这是一个逻辑斯蒂分布，由逻辑斯蒂分布图可知：函数值越接近正无穷，概率值就越接近1，线性函数的值越接近负无穷，概率值就越接近0。

对于给定的输入实例$x$x 按照上式计算，比较两个条件概率值的大小，将$x$x 分到概率较大的哪一类。

定义事件的几率：事件发生的概率与事件不发生的概率的比值，所以其对数几率是：
$logit(p)=\log\frac{p}{1-p}$logit(p)=log1−pp​
逻辑斯蒂回归的对数几率为：
$\log\frac{P(Y=1|x)}{1-P(Y=1|x)}=\color{red}\log\frac{P(Y=1|x)}{P(Y=0|x)}\color{black}=w\cdot x$log1−P(Y=1∣x)P(Y=1∣x)​=logP(Y=0∣x)P(Y=1∣x)​=w⋅x
从上式可知：在逻辑斯蒂回归模型中，输出$Y=1$Y=1 的对数几率是输入x的线性函数。通过上式也可解得：
$P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot x)}$P(Y=1∣x)=1+exp(w⋅x)exp(w⋅x)​
所以逻辑斯蒂回归又称“对数几率回归”。

模型的参数估计

对于给定数据集$T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}, x_i \in \mathcal R^n, y_i \in\{0,1\}$T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},xi​∈Rn,yi​∈{0,1}，可以通过极大似然函数法估计模型的参数。

设：
$P(Y=1|x)=\pi(x),\qquad P(Y=0|x)=1-\pi(x)$P(Y=1∣x)=π(x),P(Y=0∣x)=1−π(x)
似然函数为：
$\prod^N_{i=1}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}$i=1∏N​[π(xi​)]yi​[1−π(xi​)]1−yi​
对数似然函数为：
$\begin{aligned} L(w) &=\log \prod_{i=1}^N[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}\\&=\sum_{i=1}^N[y_i\log(\pi(x_i))+(1-y_i)\log(1-\pi(x_i))]\\ &=\sum_{i=1}^N[y_i\log(\frac{\pi(x_i)}{1-\pi(x_i)})+\log(1-\pi(x_i))]\\ &=\sum_{i=1}^N[y_i(w\cdot x_i)-\log(1+\exp(w\cdot x_i))] \end{aligned}$L(w)​=logi=1∏N​[π(xi​)]yi​[1−π(xi​)]1−yi​=i=1∑N​[yi​log(π(xi​))+(1−yi​)log(1−π(xi​))]=i=1∑N​[yi​log(1−π(xi​)π(xi​)​)+log(1−π(xi​))]=i=1∑N​[yi​(w⋅xi​)−log(1+exp(w⋅xi​))]​
注：上式的最后一步应用了逻辑斯蒂回归的对数几率关系。

对$L(w)$L(w) 求极大值，得到$w$w 的估计值。

这样问题就变成了以对数似然函数为目标的最优化问题，该问题可以用牛顿法进行求解。

最大化似然函数等价于最小化下式：
$\mathcal l(w) = \sum_{i=1}^N[-y_i(w\cdot x_i)+\log(1+\exp(w\cdot x_i))]$l(w)=i=1∑N​[−yi​(w⋅xi​)+log(1+exp(w⋅xi​))]
$\mathcal l(w)$l(w) 是关于$w$w 的高阶可导连续凸函数， 采用牛顿法进行迭代求解。

$\mathcal l(w)$l(w) 是关于$w$w 的一阶导数，二阶导数分别为：
$\begin{aligned} \frac{\partial\mathcal l(w)}{\partial w} &=\sum_{i=1}^N[-y_ix_i+\frac{x_i\exp(w\cdot x_i)}{1+\exp(w\cdot x_i)}]\\ &=-\sum_{i=1}^N x_i\left(y_i-\frac{\exp(w\cdot x_i)}{1+\exp(w\cdot x_i)}\right)\\ &=-\sum_{i=1}^N x_i\left(y_i-P(Y=1|x)\right) \end{aligned}$∂w∂l(w)​​=i=1∑N​[−yi​xi​+1+exp(w⋅xi​)xi​exp(w⋅xi​)​]=−i=1∑N​xi​(yi​−1+exp(w⋅xi​)exp(w⋅xi​)​)=−i=1∑N​xi​(yi​−P(Y=1∣x))​

$\begin{aligned} \frac{\partial^2 \mathcal l(w)}{\partial w \partial w^T}&=\frac{\partial \sum_{i=1}^N\frac{x_i\exp(w\cdot x_i)}{1+\exp(w\cdot x_i)}}{\partial w^T} \\ &=\sum_{i=1}^N x_i \frac{(1+\exp(w\cdot x_i))\exp(w\cdot x_i)x_i-\exp(w\cdot x_i)\exp(w\cdot x_i)x_i}{(1+\exp(w\cdot x_i))^2}\\ &=\sum_{i=1}^Nx_ix_i^T\frac{\exp(w\cdot x_i)}{(1+\exp(w\cdot x_i))^2}\\ &=\sum_{i=1}^Nx_ix_i^TP(Y=1|x)(1-P(Y=1|x)) \end{aligned}$∂w∂wT∂2l(w)​​=∂wT∂∑i=1N​1+exp(w⋅xi​)xi​exp(w⋅xi​)​​=i=1∑N​xi​(1+exp(w⋅xi​))2(1+exp(w⋅xi​))exp(w⋅xi​)xi​−exp(w⋅xi​)exp(w⋅xi​)xi​​=i=1∑N​xi​xiT​(1+exp(w⋅xi​))2exp(w⋅xi​)​=i=1∑N​xi​xiT​P(Y=1∣x)(1−P(Y=1∣x))​

其$t+1$t+1 轮迭代更新的公式为：
$w^{(t+1)} = w^{(t)} - \left(\frac{\partial^2 \mathcal l(w)}{\partial w \partial w^T}\right)^{-1} \frac{\partial \mathcal l(w)}{\partial w}$w(t+1)=w(t)−(∂w∂wT∂2l(w)​)−1∂w∂l(w)​