广义线性回归和对偶优化
ps: 个人笔记 根据视频和PDF学习
线性回归
y=ax+b
多个变量的情形
考虑两个变量
最小二乘的目标函数
m为样本个数，则一个比较“符合常理”的误差函数为：
最小二乘建立的目标函数，即是在噪声为均值为0的高斯分布下，极大似然估计的目标函数
使用极大似然估计解释最小二乘
似然函数
对数似然
θ的解析式的求解过程
最小二乘意义下的参数最优解
参数的解析式
若X T X不可逆，上式不可使用
附：“简便”方法记忆结论
加入λ扰动后
X T X半正定：对于任意的非零向量u
所以，对于任意的实数λ>0， 正定，从而可逆。保证回归公式一定有意义。