在 R 中跨数据帧比较多个值的快速方法

Question

这是this question 的后续行动，人们发现它有一个不好的例子。尽管如此，它还是得到了一个相当好的解决方案，但它仍然非常慢。

我希望有更快的方法；

可重现的示例（我知道它看起来很奇怪，但它确实有效）

set.seed(1)
class <- sample(LETTERS, 15)
origpat <- data.table(c(rep(sample(1:100),3), rep(sample(1:500), 4), sample(1:600), sample(200:299)))
set.seed(3)
refpat <- data.table(rep(seq(1,600,1),5))

dt <- data.table(rep.int(1:600,3))
dt$class <- rep(sample(LETTERS, 15),120)
dt <- dt[order(dt$V1, ascending = T)]
setnames(dt, "V1", "pnum")

df <- data.table(origpat, refpat)
colnames(df) <- c("origpat","refpat")
setkey(df, origpat)
df[, idx := .I] # you might get warning but ignore

所以我们有两个 data.frames：df 包含两行 origpat 和 refpat 和 dt 包含一列 pnum，它捕获与分配相同的数字 origpat 和 class每个pnum 到三个班级。

我想找到最快的方法来比较dt 中的类与df 中的两个专利origpat 和refpat 之间的重叠（或其他一些比较度量）。

这提供了一个可行的解决方案L

df[,compare := {x = dt[pnum== origpat, class]; y = dt[pnum == refpat, class]; sum(x %in% y)}, by = idx]

这个解决方案的问题是它看起来很快但真正的数据集

• 包含超过 22 个 MIO 行
• 拥有超过 92,000 个 pnum 和超过 5,000 个 class 元素
• 每个专利的 class 元素数量在 1 到 26 之间变化
• 不确定这是否会有所不同，但 pnum、origpat 和 refpat 是字符，而不是数字。

出于一般目的，x 和 y 应该有可能在不同的数据集中找到（因此不是在 dt 中都存在，并且该解决方案应该适用于大数据集。应用于我的数据的当前解决方案大约需要100 行需要 1 分钟。我有 2000 万行，所以需要很长时间。

希望这提供了一个合理的可重现示例，以便找到一个好的解决方案

Answer 1

这是一种通过重写循环使其更快的简单方法，但我仍然对这个问题感到有些模糊：

setkey(dt, pnum)
df[, compare := {x = dt[.(origpat), class];
                 dt[.(refpat), sum(x %in% class), by = .EACHI]$V1}
   , by = origpat]