使用 value_counts() 在 pandas 中查找分类精度

Question

我在 pandas 数据框中有两列：label（ground truth）和 pred（模型预测）。我在标签中有 4 个类：狗、猫、大象和蛇。我想要的是每类预测的准确性或精确度。例如，如果我有以下数据框：

label    pred
dog      cat
elephant elephant
dog    snake
cat     cat
snake   snake
snake   cat
dog    dog

我所做的是对每个类使用 value_counts，然后手动插入比率以获得 pandas 的准确性。问题是 value_counts 是按原始计数排序的，因此 label 和 pred 的顺序可能不同。

numerators = df[pred].value_counts()
   denominators = df[label].value_counts()

然后我得到输出：

 dog    0.33
  cat   1
  snake  0.5
  elephant 1 

有没有办法在 pandas 中实现自动化？

Answer 1

Ben 的回答可以迅速解决您的问题。我只想添加混淆矩阵：

confusion_matrix = (df.groupby('label')['pred']
                      .value_counts(normalize=True)
                      .unstack(fill_value=0)
                   )

输出：

pred           cat       dog  elephant     snake
label                                           
cat       1.000000  0.000000       0.0  0.000000
dog       0.333333  0.333333       0.0  0.333333
elephant  0.000000  0.000000       1.0  0.000000
snake     0.500000  0.000000       0.0  0.500000

Answer 2

您可以检查两列在哪里相等，然后groupby 第一列和mean：

print (df['label'].eq(df['pred']).groupby(df['label']).mean())
label
cat         1.000000
dog         0.333333
elephant    1.000000
snake       0.500000
dtype: float64

Answer 3

让我们试试pd.crosstab，得到矩阵后，我们可以做热图看看相关性

pd.crosstab(df.label,df.pred,normalize='index')
pred           cat       dog  elephant     snake
label                                           
cat       1.000000  0.000000       0.0  0.000000
dog       0.333333  0.333333       0.0  0.333333
elephant  0.000000  0.000000       1.0  0.000000
snake     0.500000  0.000000       0.0  0.500000

Answer 4

由于您要求准确性或精确度，我建议使用sklearn.metrics.classification_report：

from sklearn.metrics import classification_report

print(classification_report(df['label'].values, df['pred'].values))