h2o 交叉验证预测摘要中 AUC NaN 值的解释

Question

我注意到对于一些运行：

train=as.h2o(u)
mod = h2o.glm(family= "binomial", x= c(1:15), y="dc",  
       training_frame=train, missing_values_handling = "Skip",
       lambda = 0, compute_p_values = TRUE, nfolds = 10,
       keep_cross_validation_predictions= TRUE)

对于模型的某些 cv 迭代，AUC 的交叉验证指标摘要中有 NaN。

例如：

print(mod@model$cross_validation_metrics_summary["auc",])

交叉验证指标摘要：

          mean         sd cv_1_valid cv_2_valid cv_3_valid cv_4_valid cv_5_valid cv_6_valid cv_7_valid cv_8_valid cv_9_valid cv_10_valid

auc 0.63244045 0.24962118       0.25  0.6666667  0.8095238        1.0  0.6666667 0.46666667        NaN        NaN        1.0         0.2

当我设置较小的 nfolds=7 时，CV 中的 NaN 似乎不太频繁出现。

应该如何解释这些 NaN 值以及 h2o 交叉验证何时输出它们？

我想在迭代中无法正确评估 AUC 时会发生这种情况。我的训练集有 70 行完整的行。

这样的 AUC 交叉验证结果（包含 NaN）是否可以认为是可靠的？

Answer 1

在计算 ROC 曲线时，某些特定情况可能会导致除以零，这可能导致 AUC 为 NaN。很可能由于小数据，您有一些没有真正正面的折叠并导致此问题。

我们可以通过保留 fold 列然后计算每个折叠中 dc 的值来测试这一点：

...

train <- as.h2o(u)
mod <- h2o.glm(family = "binomial"
              , x = c(1:15)
              , y = "dc"
              , training_frame = train
              , missing_values_handling = "Skip"
              , lambda = 0
              , compute_p_values = TRUE
              , nfolds = 10
              , keep_cross_validation_fold_assignment = TRUE
              , seed = 1234)

fold <- as.data.frame(h2o.cross_validation_fold_assignment(mod))
df <- cbind(u,fold)

table(df[c("dc","fold_assignment")])

   fold_assignment
dc  0 1 2 3 4 5 6 7 8 9
  0 4 6 6 2 9 6 6 4 4 6
  1 2 2 3 4 0 2 0 0 1 2

mod@model$cross_validation_metrics_summary["auc",]

Cross-Validation Metrics Summary: 
          mean         sd cv_1_valid cv_2_valid cv_3_valid cv_4_valid cv_5_valid cv_6_valid cv_7_valid
auc 0.70238096 0.19357596      0.875  0.6666667        0.5      0.375        NaN  0.5833333        NaN
    cv_8_valid cv_9_valid cv_10_valid
auc        NaN        1.0   0.9166667

我们看到带有 NaN 的折叠与只有 dc=0 的折叠相同。

不计算 NaN，折叠的各种 AUC（从 0.2 到 1）告诉我们这不是一个稳健的模型，而且很可能过拟合。可以添加更多数据吗？