R：评估者间和评估者内变异性的 ICC，得到 ICC=1

Question

我遇到了 R 中 psych 包中的 ICC 功能的问题。我们几乎有 3 名技术人员 (AA,AB,AC) 测量了 11 个控制解决方案 3 次。我们知道这些解决方案的控制值 (F_exp)。三个测量值取平均值，留给AA_avg,AB_avg,AC_avg。

我正在尝试计算这三位技术人员的评分者间信度（它反映了测量同一组科目的 2 个或更多评分者之间的差异）。我打算使用 ICC (2,1)

当我尝试运行时

ICC(try[3:5]) # n*p matrix where n=subjects, p=raters.

我得到以下结果：

我不知道该怎么办。我按照指示提供数据。当我在 irr 包中使用 icc 时，它的数据格式更具体，我得到：

好吧，0.999998 的 ICC 似乎好得令人难以置信。我真的很感激任何帮助。谢谢！

这是我的数据结构：

try<-structure(list(Input = c(1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12), 
    F_Exp = c(3, 100, 1, 40, 4, 40, 4, 40, 1, 40, 100), AA_avg = c(3.11666666666667, 
    103.716666666667, 1, 40.8333333333333, 4.18333333333333, 
    40.8666666666667, 4.18333333333333, 40.9166666666667, 1.03333333333333, 
    40.9333333333333, 103.783333333333), AB_avg = c(3.25, 103.016666666667, 
    1.13333333333333, 40.8333333333333, 3.94666666666667, 40.45, 
    4.28333333333333, 41.1166666666667, 1.05, 40.9166666666667, 
    104), AC_avg = c(3.2, 103.55, 1.23333333333333, 40.9, 4.26666666666667, 
    40.4, 4.28333333333333, 40.9, 1.05, 40.95, 103.733333333333
    ), ALL_avg = c(3.18888888888889, 103.427777777778, 1.12222222222222, 
    40.8555555555556, 4.13222222222222, 40.5722222222222, 4.25, 
    40.9777777777778, 1.04444444444444, 40.9333333333333, 103.838888888889
    ), AA_error = c(-0.116666666666667, -3.71666666666667, 0, 
    -0.833333333333336, -0.183333333333334, -0.866666666666667, 
    -0.183333333333334, -0.916666666666664, -0.0333333333333334, 
    -0.93333333333333, -3.78333333333333), AB_error = c(-0.25, 
    -3.01666666666667, -0.133333333333333, -0.833333333333336, 
    0.0533333333333332, -0.450000000000003, -0.283333333333333, 
    -1.11666666666667, -0.05, -0.916666666666664, -4), AC_error = c(-0.2, 
    -3.55, -0.233333333333333, -0.899999999999999, -0.266666666666667, 
    -0.399999999999999, -0.283333333333333, -0.899999999999999, 
    -0.05, -0.950000000000003, -3.73333333333333)), row.names = c(NA, 
-11L), groups = structure(list(Input = c(1, 3, 4, 5, 6, 7, 8, 
9, 10, 11, 12), .rows = structure(list(1L, 2L, 3L, 4L, 5L, 6L, 
    7L, 8L, 9L, 10L, 11L), ptype = integer(0), class = c("vctrs_list_of", 
"vctrs_vctr", "list"))), row.names = c(NA, -11L), class = c("tbl_df", 
"tbl", "data.frame"), .drop = TRUE), class = c("grouped_df", 
"tbl_df", "tbl", "data.frame"))

Answer 1

您的评分者的评分在平均评分和每个 ID 评分中的差异可以忽略不计。如果没有，它无法估计随机截距变化。你为什么不相信你的ICC真的很高？

Between-rater 的意思是：

lapply(try[, 3:5], mean)

$AA_avg [1] 34.96061

$AB_avg [1] 34.90879

$AC_avg [1] 34.95152