如何在 xgboost 中获得回归预测的方差？答案

【问题标题】：How to get the variance of a regression prediction in xgboost?如何在 xgboost 中获得回归预测的方差？
【发布时间】：2019-08-17 13:45:16
【问题描述】：

我想通过查看方差来了解预测的好坏。 xgboost 是否提供回归的方差输出？

【问题讨论】：

Xgboost 支持几种不同的语言，你有什么语言偏好吗？
不是真的，目前我正在使用 rust 绑定
您对哪种方差感兴趣？从某种意义上说，它会根据什么来评估？我不知道 GBM 的专用程序，因为 learnig 迭代是增量的。相比之下，在随机森林模型中，我们可以简单地评估所有树的方差（主要预测是相同树的平均值）
给定当前叶子，我只需要计算当前叶子中所有数据点的方差对吗？
但是存在集成树的问题，它会有多个叶子和树之间的一些加权平均

【解决方案1】：

我不确定你是否可以直接估计方差，但你可以尝试使用Quantile Regression 估计与方差有关的IQR。然后，您可以估计第 75 个和第 25 个百分位数，而不是估计预测变量的平均值，并找到 IQR = p_75 - p_25。

link 在 python 中为 XGBoost 提供了 Quantile Regression 的实现，它基本上归结为使用 check function 作为成本函数，而不是通常的均方误差。

【讨论】：