RMSE 和平均目标变量

Question

我有一个回归问题，我想使用以下方法评估我的模型的性能：

• RMSE
• MSE
• MAE
• MAPE
• R2
• 我还报告了测试数据中目标变量的平均值

以前我的模型达到 RMSE ~ 40，平均目标变量为 112。

为了改善结果，我更改了数据中的一些列和值分布。这一变化影响了训练和测试数据。话虽如此，测试数据中的平均目标变量约为 80。

• RMSE ~ 30
• 测试数据中的平均目标变量：~ 80

如果 RMSE 从 40 降低到 30，我真的做得更好吗？还是我像以前一样自欺欺人，我有 40 (RMSE)/ 112 (avg. taregt var) 而现在我有 30 (RMSE)/ 80 (avg. taregt var)？

换句话说，我们真的应该将 RMSE 与目标变量的平均值进行比较，以了解我们的表现如何？

Answer 1

均值无法告诉您数据的分布程度，RMSE 与均值的比率无法告诉您模型可以解释多少方差。

由于您的列表中有它，您可以使用 R2，它大致解释了方差的比例，使其对您的目标规模保持不变。