7-3、正则化在线性回归
1、正则后的线性回归问题设定
2、正则化后损失函数的优化问题：——梯度下降法、正规方程求解法
梯度下降法中：
分析和直观理解：操作同传统梯度下降法一致，只是相当于对原来的参数theta进行一个变小压缩，如图。
正规方程法：
形式如图，多了一个近似单位阵的矩阵去求解theta
同时对于可能存在的不可逆问题：（m小于等于n时，样本数小于等于变量数时）：
如果存在该问题，使用正则化可以照顾这一问题，只要lambda大于0，则括号里整体是可逆的，是个非奇异矩阵！
7-4、 正则化在逻辑回归
1、正则化后的逻辑回归问题
可见拟合更平滑general
2、正则化后的优化问题
梯度下降法：
结构上和线性回归类似，区别是目标函数h（）不同！
正规方程法或其他更高级方法中用正则化技术：
过程如图示：求损失函数；求对应偏导数；接下来依靠强大的算法库去自动选择解决这一问题