如何在 python 中计算一类 SVM 的 AUC？

Question

我很难在 python 中绘制 OneClassSVM 的 AUC 图（我正在使用 sklearn 生成混淆矩阵，如 [[tp, fp],[fn,tn]] 和 fn=tn=0。

from sklearn.metrics import roc_curve, auc
fpr, tpr, thresholds = roc_curve(y_test, y_nb_predicted)
roc_auc = auc(fpr, tpr) # this generates ValueError[1]
print "Area under the ROC curve : %f" % roc_auc
plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)

我想处理错误 [1] 并为 OneClassSVM 绘制 AUC。

[1] ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Answer 1

使用 predprobs 函数计算 auc(y_true, y_score) 中要求的分数或概率/分数，问题是因为 y_score。您可以将其转换为如下代码行所示

# Classifier - Algorithm - SVM
# fit the training dataset on the classifier
SVM = svm.SVC(C=1.0, kernel='linear', degree=3, gamma='auto',probability=True)
SVM.fit(Train_X_Tfidf,Train_Y)
# predict the labels on validation dataset
predictions_SVM = SVM.predict(Test_X_Tfidf)
# Use accuracy_score function to get the accuracy
print("SVM Accuracy Score -> ",accuracy_score(predictions_SVM, Test_Y))

probs = SVM.predict_proba(Test_X_Tfidf)
preds = probs[:,1]
fpr, tpr, threshold = roc_curve(Test_Y, preds)
print("SVM Area under curve -> ",auc(fpr, tpr))

看看accuracy_score和auc()的区别，你需要预测的分数。

共享编辑删除标志

Answer 2

有关类似问题，请参阅my answer。要点是：

• OneClassSVM 基本上不支持将决策转换为概率分数，因此您无法将必要的分数传递给需要改变分数阈值的函数，例如 ROC 或 Precision-Recall 曲线和分数。

• 您可以通过计算输入数据中 OneClassSVM 决策函数的最大值来近似这种类型的分数，将其命名为 MAX，然后通过计算 @987654326 对给定观察值 y 的预测进行评分@。

• 使用这些分数作为y_score 传递给average_precision_score 等函数，这些函数将接受非阈值分数而不是概率。

• 最后，请记住 ROC 对 OneClassSVM 的物理意义较小，特别是因为 OneClassSVM 适用于存在预期和巨大的类不平衡（异常值与非异常值）的情况，并且 ROC 不能准确在少量异常值上提高相对成功率。