【发布时间】：2012-06-30 10:00:19
【问题描述】：
我正在进行一项研究，我想提出一种方法来拒绝对测试数据的某些恒定部分进行分类（例如 20%，五分之一的分类可以回答为“我不确定”）算法）。这个想法是有一种算法可以有效地选择哪些分类最有可能是错误的并拒绝回答它们（以提高整体准确性）。
我想知道是否有任何通用的机器学习方法（独立于使用的分类器）来实现这一点？
任何答案都会有所帮助，谢谢。
【问题讨论】：
标签： machine-learning classification
【发布时间】：2012-06-30 10:00:19
【问题描述】：
我假设您在谈论二进制分类？
另外，当您说“哪些分类最有可能是错误的并拒绝回答它们”时，我假设您的意思是您想要定义一个分类器无法决定的灰色区域。您可以使用两个决策阈值而不是一个：一个高于该阈值确定您的样本为阳性，一个低于该阈值确定您的样本为阴性。中间剩下的都是“未知的”。
如果您的意思是“哪些样本可能是错误的”，那么在这种情况下，它听起来更像是排名任务而不是分类任务。
【讨论】：
我知道您可以向神经网络添加一个称为拒绝输出的特殊输出。更多详情here.
不过要小心，我认为这样的输出只对大数据集有意义；在小数据集中，您不知道似乎是异常值的给定个体是否不会成为更大数据集中类的一部分。
【讨论】：
逻辑回归分类器将输出示例属于正面或负面类别的概率。在这种情况下，设置阈值以将示例标记为“未知”将起作用。例如，任何返回正负概率 <.6>
正如另一位发帖人所建议的那样，另一种方法是将问题视为排名问题。线性分类器（如 SVM 和逻辑回归）输出示例与分离超平面的距离。您可以使用该距离的绝对值对示例进行排序，然后将 20% 的具有最低等级（最接近分离超平面）的测试示例分类为未知。
【讨论】：
“弃权分类器”只需 google。
【讨论】：