逻辑回归(Logistic Regression)是一个二分类问题,指预测的y值只有两个取值(1或0),通常称为正类(positive class)和负类(negative class),比如:肿瘤恶性和良性分类,邮件是垃圾邮件还是正常邮件等。当然,二分类问题可以扩展到多分类问题。
1.Logistic函数
如果我们继续使用线性回归来预测y的值,那么预测结果可能大于1或者小于0。我们想让y的预测结果分布在区间(0,1)内,就需要使用一个函数对y值进行归一化处理,这个函数称为Logistic函数,也称为Sigmoid函数。公式如下:
该函数图象如下图所示。由图可知,当z趋近于无穷大时,g(z)趋近于1;当z趋近于无穷小时,g(z)趋近于0
2.逻辑回归输出的假设函数表达式
3.损失函数及θ的更新
逻辑回归的损失函数为:
与线性回归类似,利用梯度下降法更新θ得到:
虽然得到的梯度下降更新迭代公式看上去与线性回归的梯度下降算法一样,但是这里的
而线性回归里面