为什么 intersect(...) 比数据表连接快？

Question

这个问题是this problem提出的。

考虑两个向量a和b，以及两个数据表dt.a和dt.b如下：

a <- c(55, 1:25)
b <- c(55,30:40)

library(data.table)
dt.a <- data.table(x=a,key="x")
dt.b <- data.table(x=b,key="x")

intersect(a,b)
[1] 55
dt.a[dt.b,nomatch=0]
    x
1: 55

目标是计算共同元素的数量。

我的问题是：为什么数据表连接比intersect(...)慢30X

system.time(for (i in 1:1000){intersect(a,b)})
   user  system elapsed 
   0.05    0.00    0.04 
system.time(for (i in 1:1000){dt.a[dt.b,nomatch=0]})
   user  system elapsed 
   1.68    0.00    1.69 

Answer 1

当遇到“大”问题时，data.table 的威力会大放异彩。 [.data.table 的开销将使实际花费在二分搜索组件上的时间相形见绌。

如果你给它一个“大”问题，那么data.table 将会扩展，你会看到差异。

# a "bigger" problem
a <- c(55, 1:25e6)
b <- c(55,30:40e6)

library(data.table)
dt.a <- data.table(x=a,key="x")
dt.b <- data.table(x=b,key="x")

library(microbenchmark)

microbenchmark(intersect(a,b), dt.a[dt.b, nomatch=0],times=5)
## Unit: seconds
##                     expr      min       lq   median       uq      max neval
##          intersect(a, b) 6.848245 6.897009 6.962055 7.052095 7.058509     5
##  dt.a[dt.b, nomatch = 0] 3.629062 3.654269 3.685051 3.721983 3.815155     5