直接从 R 在 H2O 模型中实施自定义停止指标以优化训练答案

【问题标题】：Implementing custom stopping metrics to optimize during training in H2O model directly from R直接从 R 在 H2O 模型中实施自定义停止指标以优化训练
【发布时间】：2019-01-10 10:56:36
【问题描述】：

我正在尝试实现 FBeta_Score() 的 MLmetrics R package:

FBeta_Score <- function(y_true, y_pred, positive = NULL, beta = 1) {
   Confusion_DF <- ConfusionDF(y_pred, y_true)
   if (is.null(positive) == TRUE) 
   positive <- as.character(Confusion_DF[1,1])
   Precision <- Precision(y_true, y_pred, positive)
   Recall <- Recall(y_true, y_pred, positive)
   Fbeta_Score <- (1 + beta^2) * (Precision * Recall) / (beta^2 * Precision + 
   Recall)
   return(Fbeta_Score)
 }

在H2O distributed random forest model 中，我想在训练阶段使用custom_metric_func 选项对其进行优化。 h2o.randomForest() 函数的帮助文档说：

引用自定义求值函数，格式： '语言：keyName=funcName'

但我不明白如何直接从 R 中使用它以及我应该在 stopping_metric 选项中指定什么。

任何帮助将不胜感激！

【问题讨论】：

标签： r customization packages random-forest h2o

【解决方案1】：

目前只支持基于Python的自定义函数的后端，可以通过h2o.upload_custom_metric()函数上传到后端。然后，此函数将返回一个函数引用（这是一个具有'language:keyName=funcName' 命名约定格式的字符串）。然后您可以将其传递给custom_metric 参数。

例如：

custom_mm_func = h2o.upload_custom_metric(CustomRmseFunc, func_name="rmse", func_file="mm_rmse.py")

返回具有以下值的函数引用：

> print(custom_mm_func)
python:rmse=mm_rmse.CustomRmseFuncWrapper

关于使用自定义指标作为停止指标的第二个问题，您可以在此处关注 jira 票证：https://0xdata.atlassian.net/browse/PUBDEV-5261

您可以找到有关如何使用自定义指标here 的更多详细信息。

【讨论】：