从数据框中手动创建 ROC 曲线

Question

我有以下概念性问题，我无法理解。

以下是调查数据示例，其中我有一个时间列，指示某人需要多长时间才能回答某个问题。

现在，我感兴趣的是清洁量将如何根据此阈值发生变化，即如果我增加阈值会发生什么，如果我降低它会发生什么。

所以我的想法是创建一条 ROC 曲线（或其他模型指标），以获得关于潜在阈值的视觉提示。问题是我没有类似机器学习的模型来给我分类概率。所以我想知道是否有任何方法可以使用这种类型的数据创建 ROC 曲线。我的想法是在大约 100 个不同的阈值处循环遍历我的数据，计算每个阈值的假阳性率和真阳性率，然后做一个简单的线图，但我希望有一个更优雅的解决方案，不需要我循环.

有什么想法吗？

示例数据：

• time 列表示每个案例所需的时间
• truth 列表示我想要比较的当前决定
• predicted 列表示我是否会在时间阈值2.5s 进行切割时的清洁决定。这是我需要更改/循环的内容。

---

set.seed(3)
df <- data.frame(time      = c(2.5 + rnorm(5), 3.5 + rnorm(5)),
                 truth     = rep(c("cleaned", "final"), each = 5)) %>%
  mutate(predicted = if_else(time < 2.5, "cleaned", "final"))

Answer 1

所以我的想法是创建一条 ROC 曲线

创建 ROC 曲线很简单

library(pROC)
set.seed(3)
data.frame(time      = c(2.5 + rnorm(5), 3.5 + rnorm(5)),
           truth     = rep(c("cleaned", "final"), each = 5)) |>
    roc(truth, time) |>
    plot()

问题是我没有类似机器学习的模型来提供类概率。

抱歉，我不明白这个问题是什么机器学习。

我的想法是在大约 100 个不同的阈值处循环遍历我的数据

如果您有 10 个观察值，则循环超过 100 个可能的阈值是没有意义的。合理的截止值是位于您的time 值之间的九个。你可以从roc得到那些：

df <- data.frame(time      = c(2.5 + rnorm(5), 3.5 + rnorm(5)),
                truth     = rep(c("cleaned", "final"), each = 5))

thresholds <- roc(df, truth, time)$thresholds
print(thresholds)

或

> print(thresholds)
 [1]     -Inf 1.195612 1.739608 1.968531 2.155908 2.329745 2.561073
 [8] 3.093424 3.969994 4.586341      Inf

“循环”一词的确切含义以及您是否只想排除 for 和 while 循环或您认为是循环的任何内容都需要一些精确的定义。 c(1, 2, 3, 4) * 5 是循环吗？引擎盖下会有一个循环运行。

Answer 2

您也可以为此使用ROCR

library(ROCR)

set.seed(3)
df <- data.frame(time      = c(2.5 + rnorm(5), 3.5 + rnorm(5)),
                 truth     = rep(c("cleaned", "final"), each = 5)) %>%
  mutate(predicted = if_else(time < 2.5, "cleaned", "final"))

pred <- prediction(df$time, df$truth)
perf <- performance(pred,"tpr","fpr")
plot(perf,colorize=TRUE)

您也可以查看AUC值：

auc <- performance(pred, measure = "auc")
auc@y.values[[1]]

[1] 0.92

与pROC交叉检查AUC值

library(pROC)

roc(df$truth, df$time)

Call:
roc.default(response = df$truth, predictor = df$time)

Data: df$time in 5 controls (df$truth cleaned) < 5 cases (df$truth final).
Area under the curve: 0.92

这两种情况都是一样的！