多标签分类问题的度量计算

Question

我需要了解这个函数如何解决多标签问题。

我尝试计算准确性以达到相同的结果，但我做不到。 它是如何工作的？

这个数据集中有4个标签，y_array是真实的，y_pred是预测的数组。 y是这样的； [0,1,1,1], [1,0,0,0] ...

tp = 0
tn = 0
fn = 0
fp = 0
for i in range(len(y_array)):
    for j in range(4) :
        #True
        if ( y_array[i][j] == 1 ) and (y_pred[i][j]  == 1  ) :
            tp = tp + 1
        elif ( y_array[i][j] == 0 ) and (y_pred[i][j]  == 0  ) :
            tn = tn + 1
        #False
        elif ( y_array[i][j] == 0 ) and (y_pred[i][j]  == 1  ) :
            fn = fn + 1
        elif ( y_array[i][j] == 1 ) and (y_pred[i][j]  == 0  ) :
            fp = fp + 1
ac = (tp+tn)/(tp+tn+fp+fn)
print("Accuracy", ac) 
print('Accuracy: {0}'.format(accuracy_score(y_array, y_pred)))

它们彼此不同，我如何计算这个多标签问题的准确性或其他指标？ 使用 sklearn 准确度指标有错吗？

准确度 0.9068711367973193

准确度：0.7134998676125521

Answer 1

根据scikit-learn documentation for accuracy_score：

对于多标签分类，此函数计算子集精度： 为样本预测的标签集必须完全匹配 y_true 中对应的标签集。

这意味着每个标签看起来都类似于[0,0,1,0]，并且对于一个单个正需要相同的匹配（因此 y_pred 也需要是[0,0,1,0]），以及任何不是t [0,0,1,0] 将导致 single 否定。

在您的手动功能中，您分别计算每个部分匹配： 如果 y_true 是 [0,0,1,0] 并且 y_pred 是 [0,1,0,0]，则将其视为 2 个真阴性（位置 0 和 3）、1 个假阳性（位置 1）和 1 个假阴性（位置 2）。使用您用于准确度的公式，这将得到ac = (0+2)/(0+2+1+1)，它提供 50% 的准确度，而sklearn.metrics.accuracy_score 将为 0%。

如果要手动复制 scikit-learn accuracy_score，则需要先检查 y_array[i] 的每个成员，然后才将其标记为 TP、TN、FP、FN 之一。

但是，由于您与多标签分类不一致，根据上面的链接，您可能需要查看 sklearn.metrics.jaccard_score、sklearn.metrics.hamming_loss 或 sklearn.metrics.zero_one_loss