从混淆矩阵计算灵敏度和特异性

Question

假设标记数据的数量为 0 = 1400，标记为 1 = 100。标记为 0 的数据表示正常运行条件，标记为1 的数据表示异常。只有异常事件才会触发警报。

假设二分类得到如下混淆矩阵

cmMatrix = 

                    predicted 0  predicted 1
           truth 0    1100 (TN)      300 (FP)
           truth 1    30 (FN)         70 (TP)


cmMatrix = [1100,300;30,70];
acc_0  = 100*(cmMatrix(1,1))/sum(cmMatrix(1,:));
acc_1  = 100*(cmMatrix(2,2))/sum(cmMatrix(2,:));

会给acc_0 = 78.5714和acc_1 = 70

从 1400 个正常事件中读取混淆矩阵，其中 1100 个被正确识别为正常，300 个被错误识别为异常。 然后，在 100 个异常事件中，70 个被正确检测为异常，而 30 个被错误检测为异常。 我想计算第 1 类的敏感性和特异性，因为这是异常事件检测的主要关注点。我就是这样做的

Sensitivity = TP/(TP+FN) = 70/(70+30 ) = 0.70
Specificity = TN/(TN+FP) = 1100/(1100+300) = 0.78

• 灵敏度是指测试正确检测异常事件的能力。为什么灵敏度如此之低且与准确度acc_1 如此之高（70%）不同。

• 这个计算是否正确？各个类别的准确度和灵敏度有什么区别？

我是不是计算有误？

Answer 1

你的计算是正确的。鉴于您相对较高的准确性，我认为敏感性和特异性之间的不平衡让您感到困惑。这是正常的，并且是分类器的常见问题，尤其是当两个类之间没有均匀划分时。作为一个思想实验，假设您的分类器只是任意决定每个样本都被标记。这将为您提供 1400/1500 = 0.9333 的总体准确度，在您调查敏感性和特异性之前，这可能看起来非常好，这完全是由于类大小的差异。

正因为如此，以及在您的灵敏度非常低时误导性的高准确度，显示 F1 分数可能更具代表性：https://en.wikipedia.org/wiki/F1_score