如何知道 RandomForest 中特定样本的特征及其贡献

Question

如何找到影响特定样本预测的特征及其贡献，例如第 5 行

更新

感谢@FatihAkici

我现在可以应用 TreeInterpreter

from treeinterpreter import treeinterpreter as ti

instances = X_train.loc[[1,2]]
print(rf.predict(instances))
prediction, biases, contributions = ti.predict(rf, instances)

for i in range(len(instances)):
    print ("Instance", i)
    print ("Bias (trainset mean)", biases[i])
    print ("Feature contributions:")
    for c, feature in sorted(zip(contributions[i], 
                                 rf.feature_importances_), 
                             key=lambda x: ~abs(x[0].any())):
        print (feature, np.round(c, 2))
    print ("-"*20 )

print (prediction)
print (biases + np.sum(contributions, axis=1))

我的问题是为什么[ 0.12 -0.12] 有两个似乎是正面和负面的值，而不是那个特征的一个值。这是我的输出

Answer 1

是的，您可以了解影响特定观察预测的特征及其贡献（权重不是正确的术语）。这实际上构成了它如何根据特定观察做出决定的决策路径。你要找的是TreeInterpreter。

第二个问题是：为什么每个变量和实例总是有两个值（比如[0.12 -0.12]代表第一个特征和第一个实例）似乎是正负，而不是该功能的一个价值？

所以我的答案是：这些列表中的每一个（例如[0.12 -0.12]）只代表一个特征对实例属于第 1 类和第 2 类的最终概率的贡献。请记住，特性从不规定实例必须属于哪个类，而是增加或减少实例的最终类概率。所以 0.12 意味着特征 1 将实例 0 属于类 1 的概率增加了 0.12，并将其属于类 2 的概率降低了 0.12。这些值始终是对称的，这意味着无论使实例更有可能属于第 1 类的情况，都会使其不太可能属于第 2 类。

同样，特征 2 将实例 1 成为 1 类的概率降低了 0.05，并将其作为 2 类的概率增加了 0.05。

因此，每个特性对属于类 1 的实例 1 的贡献（增加或减少）：0.12、-0.05、0.22、0.14、0.07、0.01。现在将这些全部加到属于第 1 类的偏差 (0.49854)，您得到 1，即该实例属于第 1 类的最终概率，如模型输出所示。

类似地，将每个列表的所有第二个值相加，并加上属于第 2 类的偏差 (0.50146)，得到 0，即该实例属于第 2 类的最终概率，如模型所示上面的输出。

最后对实例 1 重复完全相同的练习，即在 0.49854 的偏差上加上 -0.03、-0.11、0.06、0、-0.06、-0.04，得到 0.32，即P{instance1 = class1}。将 0.03, 0.11, -0.06, 0, 0.06, 0.04 添加到 0.50146 的偏差上，得到 0.68，即P{instance1 = class2}。因此，这些数字构成了一个完整的贡献轨迹，从一个实例的初始偏差到最终分类概率。

我在 datascience.stackexchange.com 上在概念层面回答了一个非常相似的问题，请随时查看by clicking here。