k 折交叉验证重采样的 mlr3 标准差

【问题标题】：mlr3 standard deviation for k-fold cross-validation resamplingk 折交叉验证重采样的 mlr3 标准差
【发布时间】：2023-02-03 23:22:10
【问题描述】：

有人知道如何在 mlr3 中提取 ResampleResult/BenchmarkResult 的标准偏差吗？实施的指标似乎只返回平均值。

measures <- list(
  mlr3::msr("classif.fbeta", predict_sets = "train", id = "fbeta_train"),
  mlr3::msr("classif.fbeta", id = "fbeta_test")
)
bmr$aggregate(measures)

【问题讨论】：

标签： standard-deviation mlr3 resample

【解决方案1】：

从重采样结果计算标准误差并不像例如交叉验证的折叠不是独立的。

我们目前正在努力整合一些方法来计算标准误差和置信区间，并提供新的重采样技术以正确推断泛化误差。

【讨论】：