如何评估均方误差 (MSE) 是否合理？答案

【问题标题】：How do I evaluate whether the mean squared error (MSE) is reasonable or not?如何评估均方误差 (MSE) 是否合理？
【发布时间】：2018-10-16 06:19:30
【问题描述】：

我正在使用 scikit learn 创建回归模型。现在我想知道如何评估均方误差是合理的还是坏的？
例如，当我进行交叉验证时，训练数据模型的测试数据的 MSE 为 0.70。评分合理还是差？
计算模型的整个数据的 MSE 并比较它们并查看分数是否相似是否有意义？
这不是编程问题，但我想知道如何评估价值。我不确定我的方式是否正确。

【问题讨论】：

0.70 的 MSE 值本身使回答您的那部分问题变得困难 - 例如，如果我在以米或公里为单位对实验数据进行建模后问同样的问题，它仍然是同一个模型.除了使用 MSE，考虑使用计算为“R2 = 1.0 - (absolute_error_variance /dependent_data_variance)”的 R 平方 (R2) 值。这可以解释为告诉您模型解释了多少数据方差。如果 R2 = 0.5，则模型解释了 50% 的数据方差。如果 R2 为 0.99，则模型解释了 99%。

标签： python scikit-learn statistics regression

【解决方案1】：

您应该使用 MSE 或其他回归性能指标 (link) 的方式是比较不同的模型（或具有不同超参数的相同模型）。如果您保持数据集不变，那么它会让您了解哪些模型表现更好，哪些更差。

让我建议 2 个基准回归模型，以便始终将您的复杂模型与之进行比较。如果您在测试 MSE（或其他）方面无法击败这些，那么您做错了什么

虚拟回归器link
线性回归link

【讨论】：

感谢您的提示。那么，计算整个数据的 MSE 和测试数据的 MSE 并比较它们，看看它是否相似，模型是否合理？
将您的数据拆分为训练和测试，在训练中拟合模型，然后在测试中进行评估。选择在您选择的性能指标方面表现最佳的模型。
非常感谢。我想我明白你的意思了。