如何计算 R 中 Krippendorff 的 Alpha 的置信区间？答案

【问题标题】：How to compute confidence intervall for Krippendorf's Alpha in R?如何计算 R 中 Krippendorff 的 Alpha 的置信区间？
【发布时间】：2017-06-16 03:06:33
【问题描述】：

我确信这与Bootstrapping Krippendorff's Alpha 相关。但我不明白那里的问题和答案。而且看起来连答案和 cmets 都相互矛盾。

set.seed(0)
df <- data.frame(a = rep(sample(1:4),10), b = rep(sample(1:4),10))
kripp.alpha(t(df))

这是输出。

 Krippendorff's alpha

 Subjects = 40 
   Raters = 2 
    alpha = 0.342

如何计算置信区间？

【问题讨论】：

标签： r confidence-interval

【解决方案1】：

你说得对，它与引导程序有关。您可以通过以下方式计算置信区间：

 library(irr)
 library(boot)

 alpha.boot <- function(d,w) {
        data <- t(d[w,])
        kripp.alpha(data)$value
 }

 b <- boot(data = df, statistic = alpha.boot, R = 1000)
 b
 plot(b)
 boot.ci(b, type = "perc")

这是输出：

 Bootstrap Statistics :
      original      bias    std. error
 t1* 0.3416667 -0.01376158   0.1058123

 BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
 Based on 1000 bootstrap replicates

 CALL : 
 boot.ci(boot.out = b, type = "perc")

 Intervals : 
 Level     Percentile     
 95%   ( 0.1116,  0.5240 )  
 Calculations and Intervals on Original Scale

还有一个来自 Zapf 等人的 R 脚本。 2016look for Additional file 3 at the bottom of the page just before the references

或者你可以使用 github MikeGruz/kripp.boot 上的 kripp.boot 函数

【讨论】：

为什么有 1000 个重复？为什么不多或少？
Zapf et al 2016 使用了 1000，因为 Efron。
当我对论文的理解正确时，你的答案也可以用于 Fleiss Kappa 吗？
是的，对于标称数据，它是正确的：在标称数据且没有缺失值的情况下，可以同样推荐 Fleiss 的 K 和 Krippendorff 的 alpha 用于评估者间信度的评估。但是，如果测量尺度不是标称和/或存在缺失值（完全随机），则只有 Krippendorff 的 alpha 是合适的 (bmcmedresmethodol.biomedcentral.com/articles/10.1186/…)。