从零开始的多元回归错误

Question

我正在从头开始计算多元回归。 我有这个代码：

#Multivariate regression 
  set.seed(18814)
  n = 200
  p = 300
  real_p=4
  X=matrix(rnorm(n*p), nrow=n, ncol=p)
  y <- apply(X[,1:real_p], 1, sum) + rnorm(n)
  data1=cbind(X,y)
  betas <- solve(t(X) %*% X)%*%t(X) %*% y

  #Using lm()
  data1=as.data.frame(data1)
  lm=lm(y~X, data = data1)
  lm$coefficients

在代码的第一部分，我从头开始计算它，然后使用lm() 函数进行计算。

我收到草稿版本的此错误：

solve.default(t(X) %*% X) 中的错误： 系统在计算上是奇异的：倒数条件数 = 3.73902e-20

我不明白这是什么意思！

使用lm() 函数我得到了系数，但其中很多是NA 的。 我该怎么做才能获得与使用lm 相同的解决方案，即使使用NA 也是如此。

我非常感谢任何建议。

Answer 1

你必须保持数据观察的数量多于数据中数据属性的数量

进行如下更改：

 set.seed(18814)
 n = 300
 p = 200
 real_p=4
 X=matrix(rnorm(n*p), nrow=n, ncol=p)
 y <- apply(X[,1:real_p], 1, sum) + rnorm(n)
 data1=cbind(X,y)
 betas <- solve(t(X) %*% X)%*%t(X) %*% y

 #Using lm()
 data1=as.data.frame(data1)
 lm=lm(y~X, data = data1)
 lm$coefficients

在上述情况下，它不会给出错误，而且系数也不是 NA 值