使用 krippendorff alpha 或 fleiss kappa 的低注释者协议

【问题标题】：Low interannotator agreement using krippendorff alpha or fleiss kappa使用 krippendorff alpha 或 fleiss kappa 的低注释者协议
【发布时间】：2023-03-05 12:08:01
【问题描述】：

我有 3 个类别，每个类别由 3 个注释者评分。在 52% 的情况下，3 个注释者同意同一类别，43% 的两个注释者同意一个类别，只有 5% 的情况下，每个注释者选择了不同的类别。

我计算了 fleiss 的 kappa 或 krippendorff，但是 krippendorff 的值比 fleiss 低得多，它是 0.032 而我的 fleiss 是 0.49。

是不是协议太低了，尤其是用krippendorff？

【问题讨论】：

标签： statsmodels cohen-kappa

【解决方案1】：

Fleiß 和 Krippendorff 实现期望输入数据采用特定格式（行、列）！

Fleiss（主题，n_categories）

Krippendorff（评分者、受试者）

从（主题、评估者）那里到达那里

对于 Fleiss，使用来自 statsmodels fleiss 的 aggregate_raters() 函数

为 Krippendorff 转置数组

如果使用正确，这些函数将产生非常相似的值。如果不能确定 Krippendorff 通过传递适当的参数“知道”它正在处理什么样的规模（名义、序数……等）。

另请参阅更长的答案：

Inter-rater reliability calculation for multi-raters data

Is fleiss kappa a reliable measure for interannotator agreement? The following results confuses me, are there any involved assumptions while using it?

【讨论】：