如何在 R 中的二进制 h2o GBM 中为每个类获得不同的变量重要性？答案

【问题标题】：How to get different Variable Importance for each class in a binary h2o GBM in R?如何在 R 中的二进制 h2o GBM 中为每个类获得不同的变量重要性？
【发布时间】：2018-05-16 11:48:48
【问题描述】：

我正在尝试探索使用带有 h2o 的 GBM 来解决分类问题，以取代逻辑回归 (GLM)。我的数据中的非线性和交互使我认为 GBM 更合适。

我运行了一个基线 GBM（见下文）并将 AUC 与逻辑回归的 AUC 进行了比较。 GBM 的表现要好得多。

在经典的线性逻辑回归中，可以看到每个预测变量 (x) 对结果变量 (y) 的方向和影响。

现在，我想以同样的方式评估估计 GBM 的变量重要性。

如何获得每个（两个）类的变量重要性？

我知道变量重要性与逻辑回归中的估计系数不同，但它可以帮助我了解哪个预测变量影响哪个类别。

其他人问过similar questions，但提供的答案不适用于 H2O 对象。

非常感谢任何帮助。

example.gbm <- h2o.gbm(
  x = c("list of predictors"), 
  y = "binary response variable", 
  training_frame = data, 
  max_runtime_secs = 1800, 
  nfolds=5,
  stopping_metric = "AUC")

【问题讨论】：

你试过了吗：h2o.varimp(model)？
是的，但是该命令为两个类提供了变量重要性。
您所说的“线性逻辑回归”是什么。您是否可以通过一个示例进一步详细说明“两个类的变量重要性”是什么意思，以及为什么预测两个类的“变量重要性”不是同一组。
@GangeshDubey 与“线性逻辑回归”在这种情况下，我只是指二元变量的回归。关于“两个类的变量重要性”，请参见上面的链接。
谢谢，查看了h2o.gbm 和h2o.grid 的文档，似乎没有直接的方法来实现它。实际上，查看了source code，您可以验证h2o.varimp 返回单个值。

标签： r machine-learning classification h2o gbm

【解决方案1】：

AFAIS，机器学习方法越强大，解释其背后发生的事情就越复杂。

GBM 方法的优点（正如您已经提到的）也给理解模型带来了困难。当GBM 模型可能以不同的方式利用值范围时，数值变量尤其如此，有些可能产生积极影响，而另一些则产生消极影响。

对于GLM，当没有指定交互时，数字变量将是单调的，因此您可以检查正面或负面影响。

既然很难全面了解，有什么方法可以分析模型吗？我们可以从 2 种方法入手：

部分依赖图

h2o 提供了h2o.partialplot，它给出了每个变量的部分（即边际）效果，可以看作是效果：

library(h2o)
h2o.init()
prostate.path <- system.file("extdata", "prostate.csv", package="h2o")
prostate.hex <- h2o.uploadFile(path = prostate.path, destination_frame = "prostate.hex")
prostate.hex[, "CAPSULE"] <- as.factor(prostate.hex[, "CAPSULE"] )
prostate.hex[, "RACE"] <- as.factor(prostate.hex[,"RACE"] )
prostate.gbm <- h2o.gbm(x = c("AGE","RACE"),
                       y = "CAPSULE",
                       training_frame = prostate.hex,
                       ntrees = 10,
                       max_depth = 5,
                       learn_rate = 0.1)
h2o.partialPlot(object = prostate.gbm, data = prostate.hex, cols = "AGE")

个人分析仪

LIME 包 [https://github.com/thomasp85/lime] 提供了检查每个观察值的变量贡献的功能。幸运的是，这个 r 包已经支持h2o。

【讨论】：

【解决方案2】：

你可以试试h2o.varimp(object)

【讨论】：