比较分类数据上的 kappa 系数（编码器间协议）答案

【问题标题】：comparing kappa coefficients (intercoder agreements) on categorical data比较分类数据上的 kappa 系数（编码器间协议）
【发布时间】：2016-03-23 13:12:40
【问题描述】：

我有一个包含 282 个项目的列表，这些项目已由 6 个独立编码员分为 20 个类别。

这 20 个类别由词定义（例如“感知”、“评估”等）。

这 6 位程序员的身份各不相同：其中 3 位专家，3 位新手。

我计算了每对编码员之间的所有 kappa（和 alpha），以及 6 名编码员之间的总体 kappa，以及 3 位专家之间和 3 位新手之间的 kappa。

现在我想检查一下专家和新手（他们的 kappa 确实较低）所达成的协议之间是否存在显着差异。

您将如何处理这个问题并报告结果？

谢谢！

【问题讨论】：

抱歉，但问“我该怎么做？可能使用 Excel？否则是 SPSS？还是 R？”是题外话，因为要求我们推荐或查找书籍、工具、软件库、教程或其他非现场资源的问题对于 Stack Overflow 来说是题外话，因为它们往往会吸引固执己见的答案和垃圾邮件。相反，请描述问题以及迄今为止为解决该问题所做的工作。
好的，抱歉，我编辑了我的问题，希望现在看起来更好吗？

标签： r compare statistics-bootstrap

【解决方案1】：

您至少可以在 R 中简单地获得 Cohen 的 Kappa 及其 sd（

PresenceAbsence 包有一个 Kappa（参见 ?Kappa）函数。

你可以得到带有正则install.packages("PresenceAbsence")的包，然后传递一个混淆矩阵，即：

# we load the package
library(PresenceAbsence)
# a dummy confusion matrix
cm <- matrix(round(runif(16, 0, 10)), nrow=4)
Kappa(cm)

您将获得 Kappa 及其 sd。据我所知，使用 Kappa 指标进行测试存在一些限制（例如，请参阅 https://en.wikipedia.org/wiki/Cohen's_kappa#Significance_and_magnitude）。

希望对你有帮助

【讨论】：