ROC能否比较两组特征的分类能力？

Question

我正在学习 SVM 和 ROC。据我所知，人们通常可以使用 ROC（接收器操作特性）曲线来显示 SVM（支持向量机）的分类能力。我想知道是否可以使用相同的概念来比较两个功能子集。

假设我有两个特征子集，子集 A 和子集 B。它们是通过 2 种不同的特征提取方法 A 和 B 从相同的训练数据中选择的。如果我使用这两个特征子集来训练相同的 SVM使用 LIBSVM svmtrain() 函数并绘制它们的 ROC 曲线，我可以通过它们的 AUC 值来比较它们的分类能力吗？因此，如果子集 A 的 AUC 值高于子集 B，我可以得出结论，方法 A 比方法 B 更好吗？这有意义吗？

非常感谢，

Answer 1

是的，你在正确的轨道上。但是，您需要记住一些事项。

1. 通常使用具有适当缩放/归一化的两个特征 A 和 B 可以提供比单独使用特征更好的性能。因此，您还可以考虑同时使用功能 A 和 B 的可能性。
2. 当使用特征 A 和 B 训练 SVM 时，您应该分别对它们进行优化，即将使用特征 A 获得的最佳性能与使用特征 B 获得的最佳性能进行比较。通常，特征 A 和 B 在使用不同内核时可能会提供最佳性能和参数设置。
3. 除了 AUC 之外，还有其他指标，例如 F1-score、Mean Average Precision(MAP)，一旦您评估了测试数据就可以计算出来，并且根据您所考虑的应用程序，它们可能更合适。