如何在 sklearn 的交叉验证中获得多类 roc auc？

Question

我有一个分类问题，我想在 sklearn 中使用 cross_validate 获取 roc_auc 值。我的代码如下。

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
y = iris.target

from sklearn.ensemble import RandomForestClassifier
clf=RandomForestClassifier(random_state = 0, class_weight="balanced")

from sklearn.model_selection import cross_validate
cross_validate(clf, X, y, cv=10, scoring = ('accuracy', 'roc_auc'))

但是，我收到以下错误。

ValueError: multiclass format is not supported

请注意，我选择roc_auc具体是因为它支持binary和multiclass分类，如：https://scikit-learn.org/stable/modules/model_evaluation.html中所述

我也有二进制分类数据集。请告诉我如何解决此错误。

如果需要，我很乐意提供更多详细信息。

Answer 1

默认情况下multi_class='raise'，因此您需要明确更改此设置。

来自docs：

multi_class {'raise', 'ovr', 'ovo'}, default='raise'

仅限多类。确定要使用的配置类型。这 默认值会引发错误，因此必须传递“ovr”或“ovo” 明确的。

'ovr':

计算每个类与其余类的 AUC [3] [4]。这对待 多类情况与多标签情况相同。敏感的 即使在average == 'macro' 时也会出现类不平衡，因为类 不平衡会影响每个“其余”分组的组成。

'ovo':

计算所有可能的成对组合的平均 AUC 类[5]。 average == 'macro'时对类不平衡不敏感。

---

解决方案：

使用make_scorer (docs)：

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
y = iris.target

from sklearn.ensemble import RandomForestClassifier
clf=RandomForestClassifier(random_state = 0, class_weight="balanced")

from sklearn.metrics import make_scorer
from sklearn.metrics import roc_auc_score

myscore = make_scorer(roc_auc_score, multi_class='ovo',needs_proba=True)

from sklearn.model_selection import cross_validate
cross_validate(clf, X, y, cv=10, scoring = myscore)