【机器学习模型2】- 逻辑回归

逻辑回归

• 1. 模型引入
• 2. 模型描述
• 3. 模型求解策略（代价函数）
• 4. 模型求解算法 - 梯度下降

1. 模型引入

线性模型可以进行回归学习（参见【机器学习模型1】- 线性回归），但如何用于分类任务？需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。
对于二分类任务，输出标记 $y$y 取值 $\{0, 1\}${0,1}，而线性回归预测值 $z = w^Tx+b$z=wTx+b 属于实数集 $R$R，所以需要一个变换使实值 $z$z 映射到 $0/1$0/1 值。
引入 $Sigmoid$Sigmoid 函数：$y=\frac{1}{1+e^{-z}}$y=1+e−z1​，可以将 $z$z 值转为一个接近0或1的 $y$y 值，而且单调可微。图像如下：

2. 模型描述

根据广义线性模型 $y=g^{-1}(\theta^T x)$y=g−1(θTx)定义，将Sigmoid函数作为$g^{-1}()$g−1()代入：
$h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$hθ​(x)=1+e−θTx1​

对数几率函数：逻辑回归也称为对数几率函数。

• $h_\theta(x)$hθ​(x)反映了作为正例的可能性 ，则 $1-h_\theta(x)$1−hθ​(x) 反映了作为负例的可能性
• 所以$\frac{h_\theta(x)}{1-h_\theta(x)}$1−hθ​(x)hθ​(x)​反映了作为正例的相对可能性，$\frac{h_\theta(x)}{1-h_\theta(x)} > 1$1−hθ​(x)hθ​(x)​>1，则为正例，称为 “几率”。
• $ln\frac{h_\theta(x)}{1-h_\theta(x)}$ln1−hθ​(x)hθ​(x)​ 为 “对数几率”

所以，逻辑回归实际上是用线性回归模型的预测来逼近真实的对数几率。

3. 模型求解策略（代价函数）

1） 代价函数公式：
$J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[ y^{(i)}lnh_\theta(x^{(i)})+(1-y^{(i)})ln(1-h_\theta(x^{(i)})) ]$J(θ)=−m1​i=1∑m​[y(i)lnhθ​(x(i))+(1−y(i))ln(1−hθ​(x(i)))]
2）推导过程：
极大似然法 ：根据给定数据集，最大化对数似然函数：
$L(\theta) = \sum_{i=1}^{m}lnP(y^{(i)}|x;\theta)$L(θ)=i=1∑m​lnP(y(i)∣x;θ)由于 y 只能取 0 / 1，所以
$P(y=0|x;\theta) = h_\theta(x)=\frac{1}{1+e^{-\theta^T x}}\\ P(y=1|x;\theta) = 1-h_\theta(x)=\frac{e^{-\theta^T x}}{1+e^{-\theta^T x}} = \frac{1}{e^{\theta^T x}+1} \\$P(y=0∣x;θ)=hθ​(x)=1+e−θTx1​P(y=1∣x;θ)=1−hθ​(x)=1+e−θTxe−θTx​=eθTx+11​所以：
$P(y|x;\theta) = (h_\theta(x))^y(1-h_\theta(x))^{(1-y)}$P(y∣x;θ)=(hθ​(x))y(1−hθ​(x))(1−y)可以求得：
$L(\theta) =\sum_{i=1}^{m}[ y^{(i)}lnh_\theta(x^{(i)})+(1-y^{(i)})ln(1-h_\theta(x^{(i)})) ]$L(θ)=i=1∑m​[y(i)lnhθ​(x(i))+(1−y(i))ln(1−hθ​(x(i)))]为了使用梯度下降法求解，将$L(\theta)$L(θ)取负，定义损失函数：
$J(\theta) = -\frac{1}{m}L(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[ y^{(i)}lnh_\theta(x^{(i)})+(1-y^{(i)})ln(1-h_\theta(x^{(i)})) ]$J(θ)=−m1​L(θ)=−m1​i=1∑m​[y(i)lnhθ​(x(i))+(1−y(i))ln(1−hθ​(x(i)))]

为什么除以m？在使用样本不同数量的多个批次来更新 $\theta$θ 时，除以样本数量 m 来抵消不同批次样本数量不同带来的影响。

4. 模型求解算法 - 梯度下降

1）参数更新方程：
$\theta_j = \theta_j - \alpha\frac{1}{m}\sum_{i=1}^{m}[h_\theta(x^{(i)})-y^{(i)}]x_j^{(i)}$θj​=θj​−αm1​i=1∑m​[hθ​(x(i))−y(i)]xj(i)​

2）推导过程：

• 设定：初始值 $\theta$θ、学习步长 $\alpha$α
• 不断更新 $\theta$θ ：
  $\theta_j = \theta_j -\alpha\frac{\partial }{\partial \theta_j} J(\theta)$θj​=θj​−α∂θj​∂​J(θ)其中，梯度计算如下：
  
  （Ref：参考吴恩达Cousera机器学习课程 6.4节）
• 直到 $梯度\Delta\theta = \frac{\partial }{\partial \theta_j} J(\theta) &lt; 阈值\varepsilon$梯度Δθ=∂θj​∂​J(θ)<阈值ε，得到最优$\theta$θ

3）向量化表示
$\theta = \theta - \frac{\alpha}{m}X^T(\frac{1}{1+e^{-X\theta}}-y)$θ=θ−mα​XT(1+e−Xθ1​−y)

X，y表示如下：
$X=\begin{bmatrix} X^{(1)}_1&amp; X^{(1)}_2&amp; ...&amp; X^{(1)}_n&amp; \\ X^{(2)}_1&amp; X^{(2)}_2&amp; ...&amp; X^{(2)}_n&amp; \\ ...&amp; ...&amp; ...&amp; ...&amp; \\ X^{(m)}_1&amp; X^{(m)}_2&amp; ...&amp; X^{(m)}_n&amp; \\ \end{bmatrix}， \theta=\begin{bmatrix} \theta_1&amp; \\ \theta_2&amp; \\ ...&amp; \\ \theta_n&amp; \\ \end{bmatrix}， y=\begin{bmatrix} y_1&amp; \\ y_2&amp; \\ ...&amp; \\ y_m&amp; \\ \end{bmatrix}，$X=⎣⎢⎢⎢⎡​X1(1)​X1(2)​...X1(m)​​X2(1)​X2(2)​...X2(m)​​............​Xn(1)​Xn(2)​...Xn(m)​​​⎦⎥⎥⎥⎤​，θ=⎣⎢⎢⎡​θ1​θ2​...θn​​​⎦⎥⎥⎤​，y=⎣⎢⎢⎡​y1​y2​...ym​​​⎦⎥⎥⎤​，