李宏毅机器学习（四）

此篇博文是基于李宏毅老师此视频的学习总结。此部分主要介绍，Logistic Regression模型。

一、课程部分内容记录

(1) Logistics Regression和Linear Regression对比

	Logistics Regression	Linear Regression
Step 1：	$f_{w,b}(x) = \sigma(\sum_iw_ix_j+b)$fw,b​(x)=σ(∑i​wi​xj​+b) Output：value between 0 and 1	$f_{w,b}(x) = \sum_iw_ix_j+b$fw,b​(x)=∑i​wi​xj​+b Output：any value
Step 2：	Training data:$(x^n, \hat y^n)$(xn,y^​n) $\hat y$y^​：Class1 = 1，Class2 = 0 $L(f) = \sum_n C(f(x^n),\hat y^n)$L(f)=∑n​C(f(xn),y^​n)	Training data:$(x^n, \hat y^n)$(xn,y^​n) $\hat y^n$y^​n：real value $L(f) = \frac12\sum_n (f(x^n)-\hat y^n)^2$L(f)=21​∑n​(f(xn)−y^​n)2
Step 3：	$w_i = w_i-\eta\sum_n-(\hat y-f_{w,b}(x^n))x_i^n$wi​=wi​−η∑n​−(y^​−fw,b​(xn))xin​	$w_i = w_i-\eta\sum_n-(\hat y^n-f_{w,b}(x^n))x_i^n$wi​=wi​−η∑n​−(y^​n−fw,b​(xn))xin​

交叉熵：$C(f(x^n),\hat y^n)=-[\hat y^nlnf_{w,b}(x^n)+(1-\hat yn)ln(1-f_{w,b}(x^n))]$C(f(xn),y^​n)=−[y^​nlnfw,b​(xn)+(1−y^​n)ln(1−fw,b​(xn))]

(2) Discrimination和Generative(判别模型与生成模型)

	Discrimination Model	Generative Model
Function	$P(C_1	x) = \sigma(w.x+b)$
Target	$w$w , $b$b	$\mu^1$μ1,$\mu^2$μ2,$\Sigma^{-1}$Σ−1

生成模型的好处

• 对于较少的训练数据，比较有效；
• 针对具有噪音的数据（数据标记有问题）有效；
• 可以从不同来源估计先验概率和类依赖概率。

(3) Limitation of Logistic Regression

Logistic Regression模型具有限制，因为根据Logistic Regression模型找到的分类函数是一条直线，针对某些情况，会出现不适用：

如图，你无法找到一条直线将Class1和Class2完全分开。

解决方法：

• 特征转化，转化成容易分类的特征：
  

• 级联逻辑回归模型：
  

二、学习打卡

(1) Logistic Regression损失函数

LR损失函数的作用就是评价函数的好坏，也就是Step 2：Goodness of a Function，这个作用。

1. 假设，训练数据如下：
   

假设存在$f_{w,b}(x)=P_{w,b}(C_1|x)$fw,b​(x)=Pw,b​(C1​∣x)，表示选出$x$x的条件下，$x$x是属于$C_1$C1​的概率。

2. 根据之前的学习，为了求到最优参数$w$w和$b$b，设计损失函数：
   $L(w, b) = f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))… \tag{1.1}$L(w,b)=fw,b​(x1)fw,b​(x2)(1−fw,b​(x3))…(1.1)
   最优的$w^*$w∗和$b^*$b∗就是使损失函数值最大的那对：
   $w^*,b^*=arg\; \underset{w,b}{max}L(w,b) = arg\; \underset{w,b}{min}-lnL(w, b) \tag{1.2}$w∗,b∗=argw,bmax​L(w,b)=argw,bmin​−lnL(w,b)(1.2)

3. 于是，可得：
   $-lnL(w,b) = -lnf_{w,b}(x^1)-lnf_{w,b}(x^2)-ln(1-f_{w,b}(x^3))... \tag{1.3}$−lnL(w,b)=−lnfw,b​(x1)−lnfw,b​(x2)−ln(1−fw,b​(x3))...(1.3)

4. 转变数据对应方式：
   

图中有错误，$\hat y^2=1$y^​2=1，以及$\hat y^3 = 0$y^​3=0。因此，推导公式变成以下形式：

$-lnf_{w,b}(x^1) = -[\hat y^1lnf(x^1)+(1-\hat y^1)ln(1-f(x^1))] \\ -lnf_{w,b}(x^2) = -[\hat y^2lnf(x^2)+(1-\hat y^2)ln(1-f(x^2))] \\ -ln(1-f_{w,b}(x^3)) = -[\hat y^3lnf(x^3)+(1-\hat y3)ln(1-f(x^3))] \tag{1.4}$−lnfw,b​(x1)=−[y^​1lnf(x1)+(1−y^​1)ln(1−f(x1))]−lnfw,b​(x2)=−[y^​2lnf(x2)+(1−y^​2)ln(1−f(x2))]−ln(1−fw,b​(x3))=−[y^​3lnf(x3)+(1−y^​3)ln(1−f(x3))](1.4)

结果如图：

5. 对公式 (1.1)(1.3)(1.4)综合，得到下式：
$L(w, b) = f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))…f_{w,b}(x^N) \\ -lnL(w,b) = -lnf_{w,b}(x^1)-lnf_{w,b}(x^2)-ln(1-f_{w,b}(x^3))... \\ -lnL(w,b) = \sum_n[\hat y^nlnf_{w,b}(x^n)+(1-\hat y^n)ln(1-f_{w,b}(x^n))] \tag{1.5}$L(w,b)=fw,b​(x1)fw,b​(x2)(1−fw,b​(x3))…fw,b​(xN)−lnL(w,b)=−lnfw,b​(x1)−lnfw,b​(x2)−ln(1−fw,b​(x3))...−lnL(w,b)=n∑​[y^​nlnfw,b​(xn)+(1−y^​n)ln(1−fw,b​(xn))](1.5)
6. 最后，展示如下图所示的形式：

其中cross entropy是交叉熵，表示两个分布p和q之间的接近程度。

(2) Logistic Regression梯度下降

LR梯度下降的目的就是在LR损失函数的基础上，找到最好的函数。

1. 根据推导结果公式1.5，损失函数对$w$w进行偏微分：
   $\frac{-lnL(w,b)}{\partial w_i} = \sum_n[\hat y^n \frac{lnf_{w,b}(x^n)}{\partial w_i} +(1-\hat y^n) \frac{ln(1-f_{w,b}(x^n))}{\partial w_i} ] \tag{2.1}$∂wi​−lnL(w,b)​=n∑​[y^​n∂wi​lnfw,b​(xn)​+(1−y^​n)∂wi​ln(1−fw,b​(xn))​](2.1)

2. 根据上一节课程的结果，知道：函数$f_{w,b}(x)$fw,b​(x)是一个关于$z$z的SIGMOD函数：
   $f_{w,b}(x)=\sigma(z) = \frac{1}{1+e^{-z}} \\ z = w.x+b = \sum_iw_ix_i+b \tag{2.2}$fw,b​(x)=σ(z)=1+e−z1​z=w.x+b=i∑​wi​xi​+b(2.2)

3. 计算公式（2.1）的偏微分，首先计算左侧偏微分：
   $\frac{\partial lnf_{w,b}(x)}{\partial w_i} = \frac{\partial lnf_{w,b}(x)}{\partial z}.\frac{\partial z}{\partial w_i} \tag{2.3}$∂wi​∂lnfw,b​(x)​=∂z∂lnfw,b​(x)​.∂wi​∂z​(2.3)
   结合公式（2.2）对公式（2.3）细分：
   $\frac{\partial lnf_{w,b}(x)}{\partial z}=\frac{\partial ln\sigma(z)}{\partial z}=\frac{1}{\sigma(z)}.\frac{\partial\sigma(z)}{\partial z}=\frac{1}{\sigma(z)}.\sigma(z)(1-\sigma(z)) = 1-\sigma(z) \tag{2.4}$∂z∂lnfw,b​(x)​=∂z∂lnσ(z)​=σ(z)1​.∂z∂σ(z)​=σ(z)1​.σ(z)(1−σ(z))=1−σ(z)(2.4)

$\frac{\partial z}{\partial w_i} = x_i \tag{2.5}$∂wi​∂z​=xi​(2.5)

结合公式(2.4)和(2.5)，可得：
$\frac{\partial lnf_{w,b}(x)}{\partial w_i} = (1-f_{w,b}(x^n))x_i^n \tag{2.6}$∂wi​∂lnfw,b​(x)​=(1−fw,b​(xn))xin​(2.6)
同理，计算公式(2.1)右侧的偏微分：
$\frac{\partial ln(1-f_{w,b}(x))}{\partial w_i} = \frac{\partial (1-lnf_{w,b}(x))}{\partial z}.\frac{\partial z}{\partial w_i} \tag{2.7}$∂wi​∂ln(1−fw,b​(x))​=∂z∂(1−lnfw,b​(x))​.∂wi​∂z​(2.7)
结合公式（2.2）对公式（2.7）细分：
$\frac{\partial ln(1-f_{w,b}(x))}{\partial w_i} =\frac{1}{1-\sigma(z)}.\frac{\partial\sigma(z)}{\partial z}=\frac{1}{1-\sigma(z)}.\sigma(z)(1-\sigma(z)) = \sigma(z) \tag{2.8}$∂wi​∂ln(1−fw,b​(x))​=1−σ(z)1​.∂z∂σ(z)​=1−σ(z)1​.σ(z)(1−σ(z))=σ(z)(2.8)

$\frac{\partial z}{\partial w_i} = x_i \tag{2.9}$∂wi​∂z​=xi​(2.9)
结合公式(2.8)和(2.9)，可得：
$\frac{\partial ln(1-f_{w,b}(x))}{\partial w_i} = f_{w,b}(x^n)x_i^n \tag{2.10}$∂wi​∂ln(1−fw,b​(x))​=fw,b​(xn)xin​(2.10)

4. 将偏微分计算结果代入公式(2.1)中，可得：
   $\frac{-lnL(w,b)}{\partial w_i} = \sum_n-[\hat y^n(1-f_{w,b}(x^n))x_i^n-(1-\hat y^n)f_{w,b}(x^n)x_i^n] \\ = \sum_n-(\hat y-f_{w,b}(x^n))x_i^n \tag{2.11}$∂wi​−lnL(w,b)​=n∑​−[y^​n(1−fw,b​(xn))xin​−(1−y^​n)fw,b​(xn)xin​]=n∑​−(y^​−fw,b​(xn))xin​(2.11)
   因此，梯度下降的迭代式：
   $w_i = w_i-\eta\sum_n-(\hat y-f_{w,b}(x^n))x_i^n \tag{2.12}$wi​=wi​−ηn∑​−(y^​−fw,b​(xn))xin​(2.12)
   从结果来看，当前输出$f_{w,b}(x^n)$fw,b​(xn)与实际值$\hat y$y^​的差距越大，梯度更新值越大。

(3) Softmax原理

在机器学习中，softmax函数广泛使用于多分类的场景中。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。因此，经过softmax处理后的数据，输出的是每个分类被取到的概率。下图是李老师在课件中展示的softmax计算原理：

假设有一系列不同类别的数，$z_i$zi​表示第$i$i个元素，一共有$j$j个数。这个元素的softmax值就是：
$S_i = \frac{e^{z_i}}{\sum_j e^{z_j}}$Si​=∑j​ezj​ezi​​

(4) softmax损失函数

首先，重新定义一个Softmax函数：
$S_i = \frac{e^{V_i}}{\sum_i^C e^V_i} \tag{3.1}$Si​=∑iC​eiV​eVi​​(3.1)
其中，$V_i$Vi​ 是经过模型函数之后输出的值。$i$i表示第$i$i类，总的类别个数为$C$C。$S_i$Si​ 表示的是当前元素的指数与所有元素指数和的比值。

根据上节可知，softmax的输出是：
$S_i= \frac{e^{S_{y_i}}}{\sum_{j=1}^C e^{S_j}} \tag{3.2}$Si​=∑j=1C​eSj​eSyi​​​(3.2)
$S_{y_i}$Syi​​是正确类别对应的线性得分函数，$S_i$Si​ 是正确类别对应的 Softmax输出。由于 $ln$ln 运算符不会影响函数的单调性，我们对 $S_i$Si​ 进行 $ln $操作：
$lnS_i= ln\frac{e^{S_{y_i}}}{\sum_{j=1}^C e^{S_j}} \tag{3.3}$lnSi​=ln∑j=1C​eSj​eSyi​​​(3.3)
我们希望 $S_i $越大越好，即正确类别对应的相对概率越大越好，在 $lnS_i$lnSi​ 前面加个负号，表示损失函数：
$L_i=-lnS_i=-ln\frac{e^{S_{y_i}}}{\sum_{j=1}^Ce^{S_j}} \tag{3.4}$Li​=−lnSi​=−ln∑j=1C​eSj​eSyi​​​(3.4)
进一步处理：
$L_i=-ln\frac{e^{S_{y_i}}}{\sum_{j=1}^Ce^{S_j}}=-(s_{y_i}-ln\sum_{j=1}^Ce^{s_j})=-s_{y_i}+ln\sum_{j=1}^Ce^{s_j} \tag{3.5}$Li​=−ln∑j=1C​eSj​eSyi​​​=−(syi​​−lnj=1∑C​esj​)=−syi​​+lnj=1∑C​esj​(3.5)
于是，损失函数简化成公式(3.5)。

(5) Softmax梯度下降

Softmax梯度下降是对权重参数进行求导：
$\frac{\partial L_i}{\partial w_i} = \frac{-s_{y_i}+ln\sum_{j=1}^Ce^{s_j}}{\partial w_i} = \frac{-s_{y_i}}{\partial w_i} + \frac{ln\sum_{j=1}^Ce^{s_j}}{\partial w_i} \tag{4.1}$∂wi​∂Li​​=∂wi​−syi​​+ln∑j=1C​esj​​=∂wi​−syi​​​+∂wi​ln∑j=1C​esj​​(4.1)
其中，$s_{y_j} = w_i.x+b_i$syj​​=wi​.x+bi​，$s_j = w_j.x+b_j$sj​=wj​.x+bj​
$\frac{-s_{y_i}}{\partial w_i} = \frac{-(w_i.x+b_i)}{\partial w_i} = -x \\ \frac{ln\sum_{j=1}^Ce^{s_j}}{\partial w_i} = \frac{ln\;e^{s_1}+ln\;e^{s_2}+...+ln\;e^{s_C} }{\partial w_i} = \frac{x}{w_1.x+b_1}+\frac{x}{w_2.x+b_2}+...+\frac{x}{w_C.x+b_C} \tag{4.2}$∂wi​−syi​​​=∂wi​−(wi​.x+bi​)​=−x∂wi​ln∑j=1C​esj​​=∂wi​lnes1​+lnes2​+...+lnesC​​=w1​.x+b1​x​+w2​.x+b2​x​+...+wC​.x+bC​x​(4.2)
最终，得到:
$\frac{\partial L_i}{\partial w_i} = -x+\sum_j^C \frac{x}{w_j+b_j} \tag{4.3}$∂wi​∂Li​​=−x+j∑C​wj​+bj​x​(4.3)
因此，梯度下降的迭代式:
$w_i = w_i-\eta(-x+\sum_j^C \frac{x}{w_j+b_j}) \tag{4.4}$wi​=wi​−η(−x+j∑C​wj​+bj​x​)(4.4)