Cohen Kappa 的得分是否正确？答案

【问题标题】：Is that Cohen Kappa score correct?Cohen Kappa 的得分是否正确？
【发布时间】：2021-10-24 03:21:37
【问题描述】：

当只有 2% 的标签不一致时，cohen_kappa_score 输出 0.0 是否正确？

from sklearn.metrics import cohen_kappa_score
y1 = 100 * [1]
y2 = 100 * [1]

y2[0]=0
y2[1]=0

cohen_kappa_score(y1,y2)
#0.0

还是我错过了什么？

【问题讨论】：

【解决方案1】：

计算是正确的。这是使用这种协议度量的一个不幸的缺点。如果至少一个分类器在 100% 的时间内预测了一个类别，那么结果将始终为零。如果您有几分钟的时间，我鼓励您尝试根据example on Wikipedia 自行计算。

正如this paper's abstract 所说，

kappa 的一个限制是它会受到所观察发现的普遍性的影响。

full text 用一个例子更全面地描述了问题并得出结论

...kappa 可能不是对罕见的观察可靠。 Kappa 受以下因素影响正在考虑的发现的普遍性很像预测值受正在考虑的疾病。对于罕见的发现，非常 kappa 值低不一定反映低总体一致率。

另一个有用的参考是Interrater reliability: the kappa statistic，它提倡同时使用百分比一致性和 Cohen 的 kappa 来更全面地了解一致性。

【讨论】：

多么棒的解释和参考。是否还有其他协议指标不受这些缺点的影响？
几篇论文 ([[1]](ieeexplore.ieee.org/document/9440903) , [[2]](doi.org/10.1371/journal.pone.0222916)) 推荐 [Matthew's correlation coefficient] 为implemented in sklearn，但为@ 987654328@ 表明它具有相同的特殊情况，它等于零。如果它适用于您的应用程序，无论如何我都会使用 Matthews 并只处理特殊情况。
对于这种特殊情况，另一个常用的指标 (AUC-ROC) 也未定义。不过，我想我并没有真正回答你的问题，所以也许检查一下sklearn user guide for classification metrics 中可用的其他指标？
如果你的问题像两个二元分类器之间的协议一样简单，那么你可以使用像accuracy 这样简单的东西。这真的取决于您的应用程序。