scikit learn 中的预测和评分如何工作

Question

我正在尝试使用线性回归基于一组输入来预测输出，如下所示：

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

X = [[1, 1, 1, 1],
     [1, 1, 1, 1],
     [1, 2, 1, 1],
     [1, 3, 1, 1],
     [1, 4, 1, 1],
     [1, 2, 1, 1],
     [1, 3, 1, 1],
     [2, 4, 1, 1],
     [1, 1, 1, 1],
     [2, 1, 1, 1],
     [2, 4, 1, 1],
     [1, 5, 1, 1],
     [1, 1, 1, 1],
     [1, 1, 1, 1]]
y = [
    [1],
    [1],
    [1],
    [3],
    [2],
    [1],
    [3],
    [2],
    [1],
    [1],
    [2],
    [1],
    [1],
    [1],
   ]


# Split X and y into X_
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=1)

regression_model = LinearRegression()
regression_model.fit(X_train, y_train)

print(regression_model.score(X_test, y_test)) # -1.1817143658810325
print(regression_model.predict([[1, 1, 1, 1]]) # [[0.9694444444444441]]

我已将 X 值作为输入传递并期望 y 作为输出

它将分数显示为负值，预测输出为 [[0.9694444444444441]]，我预计为 1。

我该如何解决这个问题？

Answer 1

线性回归尝试使用最优超平面最小化均方误差。大多数数据都不是完全线性的（包括你的），所以预测不会是完美的。但是，考虑到线性约束，它们将具有尽可能低的误差。在您的示例中，0.97 和 1.00 之间没有太大区别。

在较少的维度中考虑以下线性回归，以使可视化更容易。回归所做的只是选择最适合数据的线。这并不意味着它贯穿每一点。当您使用那条线进行预测时，它会偏离一点点。

负分（直接来自文档）仅表示模型的性能比您只预测数据的平均值时更差。模型可以任意表现不佳。在您的情况下，由于线性回归能够学习这样一个常数模型，这表明对训练集过度拟合（可能是由于样本量小）。如果你对你的火车数据进行评分，你应该得到一个非否定的答案，而且可能是肯定的。

更仔细地检查您的模型，您会注意到，由于大类不平衡（您的 1 几乎是其他所有东西加起来的两倍），因此预测值为 1 的任何东西都相对接近。 2 有点糟糕，3 有一个可怕的预测。线性模型很难实现从 1 和 2 到 3 的巨大跳跃，因为只有几个点卡在其余点云的中间。