多元线性回归中的特征选择

Question

import numpy as np
import pandas as pd
import seaborn as sns
from sklearn.linear_model import LinearRegression
from sklearn.datasets import make_regression
a = make_regression(n_samples=300,n_features=5,noise=5)
df1 = pd.DataFrame(a[0])
df1 = pd.concat([df1,pd.DataFrame(a[1].T)],axis=1,ignore_index=True)
df1.rename(columns={0:"X1",1:"X2",2:"X3",3:"X4",4:"X5",5:"Target"},inplace=True)
sns.heatmap(df1.corr(),annot=True);

Correlation Matrix

现在我可以问我的问题了。如何选择将包含在模型中的特征？

Answer 1

我在大部分时间使用r，我并不是很好的。 但它应该是这样的：

# Create a model
model = LinearRegression()
# Call the .fit method and pass in your data
model.fit(Variables,Target)
# Or simply do
model = LinearRegression().fit(Variables,Target)
# So based on the dataset head provided, it should be
X<-df1[['X1','X2','X3','X4','X5']]
Y<-df1['Target']
model = LinearRegression().fit(X,Y)

为了进行功能选择。您需要先运行模型。然后检查p值。通常，p值为5％（.05）或更低的是一个好的截止点。如果p值交叉，则较高阈值为.05，变量是微不足道的，您可以从模型中删除它。您必须手动执行此操作。您还可以通过查看相关矩阵来查看与目标相关的值较小。 AFAIK，没有内置功能的LIB，可以自动进行功能选择。最终，统计数据只是数字。这取决于人类来解释结果。