线性回归预测的非常大的值答案

【问题标题】：Very Large Values Predicted for Linear Regression线性回归预测的非常大的值
【发布时间】：2017-11-26 12:11:05
【问题描述】：

我正在尝试在 python 中运行线性回归来确定给定许多特征的房价。其中一些是数字，一些是非数字。我正在尝试对非数字列进行一种热编码，并将新的数字列附加到旧数据帧并删除非数字列。这是在训练数据和测试数据上完成的。

然后我取了两列特征的交集（因为我有一些仅位于测试数据中的编码）。之后，它进入线性回归。代码如下：

non_numeric = list(set(list(train)) - set(list(train._get_numeric_data())))
train = pandas.concat([train, pandas.get_dummies(train[non_numeric])], axis=1)
train.drop(non_numeric, axis=1, inplace=True)

train = train._get_numeric_data()
train.fillna(0, inplace = True)

non_numeric = list(set(list(test)) - set(list(test._get_numeric_data())))
test = pandas.concat([test, pandas.get_dummies(test[non_numeric])], axis=1)
test.drop(non_numeric, axis=1, inplace=True)

test = test._get_numeric_data()
test.fillna(0, inplace = True)

feature_columns = list(set(train) & set(test))
#feature_columns.remove('SalePrice')
X = train[feature_columns]
y = train['SalePrice']

lm = LinearRegression(normalize = False)
lm.fit(X, y)

import numpy
predictions = numpy.absolute(lm.predict(test).round(decimals = 2))

我遇到的问题是，我将这些高得离谱的销售价格作为输出，大约数亿美元。在我尝试一种热编码之前，我得到了数十万美元的合理数字。我很难弄清楚发生了什么变化。

另外，如果有更好的方法来做到这一点，我很想知道它。

【问题讨论】：

为什么注释掉功能中的 SalePrice 行？现在你在 X 数据中也有了它
它不是 feature_columns 的一部分，因为它不在训练和测试中。

标签： python scikit-learn regression

【解决方案1】：

由于在特征列中引入分类变量，您似乎遇到了共线性，因为“one-hot”编码变量的特征列的总和始终为 1。

如果您有一个分类变量，则需要在线性回归中设置“fit_intercept=False”（或删除 one-hot 编码变量的特征列之一）

如果您有多个类别变量，则需要为每个类别删除一个特征列以打破共线性。

from sklearn.linear_model import LinearRegression
import numpy as np
import pandas as pd
In [72]:

df = pd.read_csv('/home/siva/anaconda3/data.csv')
df
Out[72]:
C1  C2  C3  y
0   1   0   0   12.4
1   1   0   0   11.9
2   0   1   0   8.3
3   0   1   0   3.1
4   0   0   1   5.4
5   0   0   1   6.2
In [73]:

y
X = df.iloc[:,0:3]
y = df.iloc[:,-1]
In [74]:

reg = LinearRegression()
reg.fit(X,y)
Out[74]:
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
In [75]:

_
reg.coef_,reg.intercept_
Out[75]:
(array([ 4.26666667, -2.18333333, -2.08333333]), 7.8833333333333346)
we find that co_efficients for C1, C2 , C3 do not make sense according to given X.
In [76]:

reg1 = LinearRegression(fit_intercept=False)
reg1.fit(X,y)
Out[76]:
LinearRegression(copy_X=True, fit_intercept=False, n_jobs=1, normalize=False)
In [77]:

reg1.coef_
Out[77]:
array([ 12.15,   5.7 ,   5.8 ])
we find that co_efficients makes much more sense when the fit_intercept was set to False

类似问题的详细解释如下。

https://stats.stackexchange.com/questions/224051/one-hot-vs-dummy-encoding-in-scikit-learn

【讨论】：

我尝试将 fit_intercept 设置为 False，但似乎没有任何帮助。此外，在（文档）[pandas.pydata.org/pandas-docs/stable/generated/… 中，它显示了我在看到您的回复后设置为 true 的 drop_first 参数，但我仍然得到类似的结果。这是一个问题，但似乎并没有解决这个问题。有什么建议吗？

【解决方案2】：

我在stats 网站上发布了此内容，Ami Tavory 指出get_dummies 应该在合并的train 和test 数据帧上运行，以确保在两个数据帧中设置相同的虚拟变量。这解决了问题。

【讨论】：