回归量不显着的回归分析答案

【问题标题】：Regression Analysis with insignificant regressors回归量不显着的回归分析
【发布时间】：2018-09-16 04:52:55
【问题描述】：

我正在尝试使用许多解释变量来预测一个变量，每个解释变量都没有视觉上可检测的关系，即每个回归变量和预测变量之间的散点图是完全平坦的云。

我采取了两种方法：

1) 运行单个回归，产生的关系根本不显着。

2) 一旦我尝试了多变量回归的多个组合，我就会得到一些组合的显着关系（尽管这些组合并不稳健，也就是说，一个变量在一个设置中是显着的，而在不同的设置中失去了显着性）。

我想知道，如果基于 1)，即在个人基础上，似乎根本没有关系这一事实，我可以得出结论，多变量方法也注定会失败？

【问题讨论】：

通常我会说您没有足够的信息来回答这个问题，但是（明智地）检查散点图的附加信息在我个人看来可能足以回答您的问题“是的，它会失败”。尽管找到小的相关性并不确定，但在我看来，您已经在这里完成了功课，并且您的怀疑可能是正确的。
谢谢詹姆斯，我明白你的意思了。我也是这么想的。

【解决方案1】：

答案肯定是否，不保证会失败。事实上，您已经在 #2 中观察到了这种情况，您可以在多个预测变量设置中获得重要的预测变量

1 个预测变量和 1 个结果之间的回归相当于两个变量之间的协方差或相关性。这是您在散点图中观察到的关系。

具有多个预测变量的回归（多元回归）具有相当不同的解释。假设您有一个模型，例如：Y = b0 + b1X1 + b2X2

b1被解释为X1和Y之间的关系保持X2常量。也就是说，您正在控制此模型中X2 的效果。这是多元回归的一个非常重要的特征。

要查看这一点，请运行以下模型：

您会看到b1 在两种情况下的值是不同的。 b1 值之间的差异程度将取决于 X1 和 X2 之间的协方差/相关性的大小

仅仅因为 2 个变量之间的直接相关不显着并不意味着一旦您控制了其他预测变量的影响，这种关系将保持不显着

您在#2 中的稳健性示例强调了这一点。为什么一个预测变量在某些模型中是显着的，而当您使用另一个预测变量子集时却不显着？正是因为您要控制各种模型中不同变量的影响。

您选择控制哪些其他变量，以及最终选择使用哪种特定回归模型，取决于您的目标。

【讨论】：