原文地址:https://www.jianshu.com/p/a110a4e96d58

线性分类中的是非题变为逻辑分类中的概率题。在逻辑回归中,设置概率阈值后,大于等于该值的为O,小于改值的为X。

机器学习基石笔记:10 Logistic Regression

O为1,X为0:

机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression

逻辑函数/S型函数:光滑,单调。自变量趋于负无穷时,因变量趋于0;自变量趋于正无穷时,因变量趋于1;自变量取0时,因变量值为0.5。其能够较好地模拟概率特性。

机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression

逻辑回归使用交叉熵代价函数:

机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression

最小化代价函数时,发现无法求出使其值最小的解析解。类比PLA的迭代法,使用梯度下降法求最小值。

机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression

\(\eta\):学习速率,与梯度大小有关,正比。
\(v\):方向,单位长度,方向与梯度相反。

机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression
机器学习基石笔记:10 Logistic Regression

相关文章:

  • 2021-11-04
  • 2021-05-16
  • 2022-12-23
  • 2022-12-23
  • 2021-07-30
  • 2022-12-23
  • 2021-10-13
  • 2021-05-22
猜你喜欢
  • 2021-07-03
  • 2021-06-03
  • 2021-08-16
  • 2021-07-23
  • 2021-09-12
  • 2021-06-18
  • 2021-12-27
相关资源
相似解决方案