如何在 Python 中进行三次或更高多项式多元回归？

Question

我有一组数据，其中经度和纬度是自变量，温度是因变量。我希望能够执行外推以获得纬度和经度范围之外的温度值。我认为最好的方法是执行多元回归。

我知道 sklearn 具有从其 linear_model 库执行线性多元回归的功能。

from sklearn import linear_model
regr = linear_model.LinearRegression()
regr.fit('independent data', 'dependent data') 

但是，我的温度似乎与纬度或经度没有线性关系。因此，我推断的一些值似乎是错误的。

我在想我也许可以通过执行多项式多元回归而不是线性回归来改进外推。

是否已经有一些提供此功能的库？

Answer 1

可能最简单的方法是进行线性回归，但执行一些基本的“特征工程”并制作您自己的多项式特征。您可以查看PolynomialFeatures，它可以帮助构建多项式特征数组。

作为一个基本的例子考虑这个：

# make example data
x = np.linspace(0, 10, 10)
y = x**2 + np.random.rand(len(x))*10

# make new polynomial feature
x_squared = x**2

# perform LR
LR = LinearRegression()
LR.fit(np.c_[x, x_squared], y) # np.c_ stacks the feature into a 2D array.

# evaulate the model
eval_x = np.linspace(0, 10, 100)
eval_x_squared = eval_x**2
y_pred = LR.predict(np.c_[eval_x, eval_x_squared])

# plot the result
plt.plot(x, y, 'ko')
plt.plot(eval_x, y_pred, 'r-', label='Polynomial fit')
plt.legend()

生成的图形如下所示：

当然，在此示例中我们必须手动构建我们的功能，但希望它向您展示如何实际实现它。