线性回归是有监督学习,即给定样本属性和对应的标签,训练出线性函数的参数。

解决问题类型:

预测两类事物对相关性

e.g. 预测房价跟面积的关系 (单变量)

预测房价跟面积、楼层的关系 (多变量)

 

一、单变量线性回归(Linear Regression with One Veriable)

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

 

二、代价函数(Cost Function)

我们预测了线性函数的参数theta0 和theta1, 画出的线与具体的数据点之间的差距用 代价函数来表示。

代价函数:机器学习(一)线性回归 Linear Regression

(也称为 平方误差函数、平方误差代价函数)

我们的目标是获得让代价函数最小的时候的参数theta0 和theta1的值。

机器学习(一)线性回归 Linear Regression

代价函数理解:

机器学习(一)线性回归 Linear Regression

找的使得J(theta0,theta1)最小的点,此时的theta0和theta1是最优的

 

三、求代价函数最小的算法:梯度下降 (Gradient Descent)

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

 

 

 

四、多变量线性回归(Linear Regression with Multiple Variables)

机器学习(一)线性回归 Linear Regression

 

代价函数:

机器学习(一)线性回归 Linear Regression

梯度下降算法:

机器学习(一)线性回归 Linear Regression

 

 

梯度下降实践1-----特征缩放(Feature Scaling):

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

 

 

梯度下降实践2-----学习率(Learning Rate):

机器学习(一)线性回归 Linear Regression

 

 

 

五、正规方程(Normal Equation)

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

 

 

六、正则化(Regularization)

正则化可以解决过拟合问题(Over-fitting)

机器学习(一)线性回归 Linear Regression

 

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

机器学习(一)线性回归 Linear Regression

 

 

参考自: 吴恩达course视频 

相关文章:

  • 2021-12-13
  • 2022-01-05
  • 2021-08-26
  • 2021-09-24
  • 2021-12-30
  • 2021-07-07
  • 2021-09-26
猜你喜欢
  • 2021-06-07
  • 2021-12-13
  • 2021-12-13
  • 2021-09-10
  • 2021-07-30
  • 2021-06-02
相关资源
相似解决方案