继续上一篇的问题,我们采用另外一种方法,采用矩阵的方式重新定义了最小二乘法。

在说这个方法之前,先看看这个矩阵怎么个定义法。

我们知道标量y对矩阵X的导数如下:

深度学习2线性回归,逻辑回归

好,我们就根据课文中,对矩阵A求导。

深度学习2线性回归,逻辑回归

然后给出了一个例子:

深度学习2线性回归,逻辑回归

深度学习2线性回归,逻辑回归

然后根据矩阵迹的概念

深度学习2线性回归,逻辑回归

对于矩阵的迹有以下性质:

深度学习2线性回归,逻辑回归

深度学习2线性回归,逻辑回归

紧接着可以得到下面一些性质,作者给出,没有证明

深度学习2线性回归,逻辑回归

下面我们重新定义训练数据,定义成矩阵的形式。

深度学习2线性回归,逻辑回归

每一行为一个训练数据,x为列向量

结果也用向量表示:

深度学习2线性回归,逻辑回归

由于深度学习2线性回归,逻辑回归,则

深度学习2线性回归,逻辑回归

我们对于一个向量z,我们有深度学习2线性回归,逻辑回归,则

深度学习2线性回归,逻辑回归

这样我们通过这种形式又得到了J,我们的目的也就是使J最小。

好,我们根据上面公式的(2)和(3),我们可以得到

深度学习2线性回归,逻辑回归

因此,有:

深度学习2线性回归,逻辑回归

要求最小的J,我们就令上式为0向量。

深度学习2线性回归,逻辑回归,即

深度学习2线性回归,逻辑回归

这边要注意的是求矩阵的逆的比较慢,X可以求逆。

下面一节就说下为什么采用平方和作为错误估计函数。

相关文章:

  • 2021-05-05
  • 2021-10-27
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-08-14
  • 2021-09-17
  • 2022-12-23
  • 2021-06-09
相关资源
相似解决方案