目录
主要内容
线性回归
1.定义与问题引入
2.损失函数
3.梯度下降
4.过拟合与正则化
n 逻辑回归
1.定义与问题引入
2.损失函数
3.梯度下降与正则化及示例
n 工程应用经验
1.优缺点和应用场景 2.样本处理 3.特征处理 4.算法调优
线性回归
思考一个简单的例子
近似的是一条直线的关系
多个变量的情形
损失函数（ loss function）
梯度下降
线性回归的loss函数是凸函数
学习率
步长，与算法的效率有关
只要方向对的，会走到山底
回归与欠/过拟合
左边是欠拟合，右边是过拟合
为什么theta会很大？
y = x 是直线
平方和立方项前的系数大则会突变
LR应用经验
特征是知道的，对应的系数知道，通过特征前的系统就知道哪个特征重要
基线版本很多都采用逻辑回归因为上面的优点
关于样本处理
如果随机取会有偏差
上采样图像处理中常用，做旋转，镜像，重复等
关于特征处理