R中的高效数据帧迭代

Question

假设我有一个 500 万行的数据框，有两列，因此（为简单起见，此数据框只有十行）：

df <- data.frame(start=c(11,21,31,41,42,54,61,63), end=c(20,30,40,50,51,63,70,72))

我希望能够在数字向量中生成以下数字：

11 to 20, 21 to 30, 31 to 40, 41 to 50, 51, 54-63, 64-70, 71-72

然后取新向量的长度（本例为10+10+10+10+1+10+7+2）=60

*注意，我不需要向量本身，只要它的长度就足够了。因此，如果有人有更智能的逻辑方法来获取长度，那是受欢迎的。

本质上，所做的是对数据帧中的每一行，采用从头到尾的序列，然后将所有这些序列组合起来，然后过滤 UNIQUE 值。

所以我使用了这样的方法：

length(unique(c(apply(df, 1, function(x) {
    return(as.numeric(x[1]):as.numeric(x[2]))
}))))

在我的 500 万行数据帧上，这证明非常慢。

有更快更有效的解决方案吗？奖金，请尝试添加系统时间。

用户系统已过 19.946 0.620 20.477

Answer 1

假设您的数据已排序，这应该可以工作。

library(dplyr)  # for the lag function

with(df, sum(end - pmax(start, lag(end, 1, default = 0)+1) + 1))
#[1] 60

library(microbenchmark)
microbenchmark(
  beginneR={with(df, sum(end - pmax(start, lag(end, 1, default = 0)+1) + 1))},
  r2evans={vec <- pmax(mm[,1], c(0,1+head(mm[,2],n=-1))); sum(mm[,2]-vec+1);},
  times = 1000
)

Unit: microseconds
     expr     min       lq  median       uq       max neval
beginneR   37.398  41.4455  42.731  44.0795    74.349  1000
r2evans    31.788  35.2470  36.827  38.3925  9298.669  1000

所以矩阵仍然更快，但速度并不快（这里还没有包括转换步骤）。而且我想知道为什么@r2evans 答案中的最大持续时间与所有其他值（非常快）相比如此之高

Answer 2

另一种方法：

mm <- as.matrix(df) ## critical for performance/scalability
(vec <- pmax(mm[,1], c(0,1+head(mm[,2],n=-1))))
##  [1] 11 21 31 41 51 54 64 71
sum(mm[,2] - vec + 1)
##  [1] 60

（这应该可以很好地扩展，肯定比 data.frames 更好。）

编辑：在我更新我的代码以使用矩阵并且没有apply 调用后，我对我的实现进行了快速基准测试，与其他答案相比（这也是正确的）：

library(microbenchmark)
library(dplyr)
microbenchmark(
    beginneR={
        df <- data.frame(start=c(11,21,31,41,42,54,61,63),
                         end=c(20,30,40,50,51,63,70,72))
        with(df, sum(end - pmax(start, lag(end, 1, default = 0)+1) + 1))
    },
    r2evans={
        mm <- matrix(c(11,21,31,41,42,54,61,63,
                       20,30,40,50,51,63,70,72), nc=2)
        vec <- pmax(mm[,1], c(0,1+head(mm[,2],n=-1)))
        sum(mm[,2]-vec+1)
    }
    )
##  Unit: microseconds
##       expr     min      lq   median      uq     max neval
##   beginneR 230.410 238.297 244.9015 261.228 443.574   100
##    r2evans  37.791  40.725  44.7620  47.880 147.124   100

这得益于使用矩阵而不是 data.frames。

哦，系统时间在这里没那么有用:-)

system.time({
    mm <- matrix(c(11,21,31,41,42,54,61,63,
                   20,30,40,50,51,63,70,72), nc=2)
    vec <- pmax(mm[,1], c(0,1+head(mm[,2],n=-1)))
    sum(mm[,2]-vec+1)
})
##     user  system elapsed 
##        0       0       0