r 包 irr 中的科恩卡帕答案

【问题标题】：Cohen's kappa in r package irrr 包 irr 中的科恩卡帕
【发布时间】：2018-09-14 16:35:53
【问题描述】：

我尝试了这个简单的测试用例：

df <- data.frame(x1 = as.factor(c("a", "a", "a", "a", "b")),
                 x2 = as.factor(c("a", "a", "a", "b", "b")))

5 次中有 4 次评分相同，估计概率一致为 1/2。我将这些数字放入维基百科页面的简单公式中：

(k <- (4/5 - 1/2) / (1 - 1/2))
[1] 0.6

但是 irr 包中的 kappa2 函数给了我：

irr::kappa2(df)
 Cohen's Kappa for 2 Raters (Weights: unweighted)

 Subjects = 5 
   Raters = 2 
    Kappa = 0.545 

        z = 1.37 
  p-value = 0.171

“权重”的默认选项是“未加权”，那么为什么这里的结果与我的手动方法不同？是否涉及一些调整，该功能的帮助页面中没有记录？还是我弄乱了 Cohen 的 kappa 公式？

【问题讨论】：

为什么估计的机会协议等于 1/2？
我假设有 50% 的机会达成一致，因为有两种可能的结果（“a”和“b”）。但估计达成协议的机会就像 Maurits Evers 在他的评论中显示的那样计算。

标签： r statistics

【解决方案1】：

你计算 kappa 不正确。

再看看Wikipedia article，特别是他们给出的例子。

这是一个完整的示例，显示了相同的中间步骤，用于说明目的，但基于您的数据。

table(df)
#   x2
#x1  a b
#  a 3 1
#  b 0 1

p0 <- (3 + 1) / (3 + 1 + 1 + 0)
pa <- (3 + 1) / (3 + 1 + 1 + 0) * (3 + 0) / (3 + 1 + 1 + 0)
pb <- (0 + 1) / (3 + 1 + 1 + 0) * (1 + 1) / (3 + 1 + 1 + 0)
pe <- pa + pb
kappa <- (p0 - pe) / (1 - pe)
#[1] 0.5454545

该值与irr::kappa2 报告的值完全一致。

【讨论】：

非常感谢您的澄清。