使用随机分类器 Scikit 获取特征重要性答案

【问题标题】：Getting features importance with RandomClassifier Scikit使用随机分类器 Scikit 获取特征重要性
【发布时间】：2016-07-26 18:24:15
【问题描述】：

我尝试从我的数据框中获取每个特征的重要性权重。我使用 scikit 文档中的这段代码：

names=['Class label', 'Alcohol',
'Malic acid', 'Ash',
'Alcalinity of ash', 'Magnesium',
'Total phenols', 'Flavanoids',
'Nonflavanoid phenols',
'Proanthocyanins',
'Color intensity', 'Hue',
'OD280/OD315 of diluted wines',
'Proline']
df_wine = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data', header=None,names=names)



from sklearn.ensemble import RandomForestClassifier
forest = RandomForestClassifier(n_estimators=10000,
 random_state=0,
 n_jobs=-1)
forest.fit(X_train, y_train)

feat_labels = df_wine.columns[1:]
importances = forest.feature_importances_ 
indices = np.argsort(importances)[::-1]
for f in range(X_train.shape[1]):
    print("%2d) %-*s %f" % (f + 1, 30,feat_labels[f], importances[indices[f]]))

但尽管我了解 np.argsort 方法，但我仍然不理解这个 FOR 循环。为什么我们使用“索引”来索引“重要性”数组？以及为什么我们不能简单地使用这样的代码：

for f in range(X_train.shape[1]):
print("%2d) %-*s %f" % (f + 1, 30,feat_labels[f], importances[f]))

使用“importances[indices[f]]”（前 5 行）时的输出：

 1) Alcohol                        0.182483
 2) Malic acid                     0.158610
 3) Ash                            0.150948
 4) Alcalinity of ash              0.131987
 5) Magnesium                      0.106589

“importances[f]”情况下的输出（前 5 行）：

 1) Alcohol                        0.106589
 2) Malic acid                     0.025400
 3) Ash                            0.013916
 4) Alcalinity of ash              0.032033
 5) Magnesium                      0.022078

【问题讨论】：

请添加指向您所引用示例的链接。
scikit-learn.org/stable/auto_examples/ensemble/…

标签： machine-learning scikit-learn random-forest feature-extraction feature-selection

【解决方案1】：

这不是放在文档中的，仔细看，上面写着

# FROM DOCS
for f in range(X.shape[1]):
    print("%d. feature %d (%f)" % (f + 1, indices[f], importances[indices[f]]))

正确，不正确

# FROM YOUR QUESTION
for f in range(X_train.shape[1]):
    print("%2d) %-*s %f" % (f + 1, 30,feat_labels[f], importances[indices[f]]))

这是错误的。如果你想使用 feat_labels 你应该这样做

# CORRECT SOLUTION
for f in range(X_train.shape[1]):
    print("%2d) %-*s %f" % (f + 1, 30,feat_labels[indices[f]], importances[indices[f]]))

使用他们的方法是因为他们希望以特征重要性的降序进行迭代，而不使用“索引”将使用特征排序。两者都很好，唯一不正确的是您提出的第一个 - 这是两种方法的混合，并且错误地分配了功能的重要性。

【讨论】：