使用 data.table 子集进行不等式

Question

我有一个包含 400k 行的数据表，我正在做子集，它非常慢。

这是一个示例数据框：

                 date   name value size car1 car2
1 2015-01-01 07:44:00    bob     1    5    A    D
2 2015-02-02 09:46:00 george   522    2    B    F

现在我使用subset() 以慢速方式对其进行子集化：

main<- data.frame(date = as.POSIXct(c("2015-01-01 07:44:00","2015-02-02 09:46:00"),tz="GMT"),name= c("bob","george"),value=c(1,522), size= c(5,2), car1=c("A","B"), car2=c("D","F"))
main$date
subset(main,    size >1 
       &  value == 522
       &  name == "george" 
       &  date >= as.POSIXct("2015-01-01 03:44:00",tz="GMT") &  date >= as.POSIXct("2015-01-01 08:44:00",tz="GMT")
       &  (car1 == "F" | car2 == "F")
)

                 date   name value size car1 car2
2 2015-02-02 09:46:00 george   522    2    B    F

这可行并返回 1 行，但速度很慢。

感谢对另一个问题的一些回应，使用 data.table 看起来要快得多，所以我想使用 data.table 来做与上面相同的事情，但我有很多问题。

这是我目前为止的：

   library(data.table)  
 mdt<- as.data.table(main)
 setkey(mdt, date, name, value,size,car1,car2)
  mdt[.(as.POSIXct("2015-01-01 03:44:00"),"george", 522,2,"F","F")]

这会返回：

date   name value size car1 car2
1: 2015-01-01 03:44:00 george   522    2   NA    F

这是我的问题：

(1) 我想要一个条件，其中日期 >= 和日期

(2) 我想要一个标准，其中 (car1 == "F" | car2 == "F") 但这可能吗？如果没有任何想法如何使子集更快？

(3) 您可以看到 mdt[] 的输出日期为 2015-01-01 03:44:00，但该日期不在原始“主”数据框中。这里发生了什么？

(4) 您可以在 mdt[] 的输出中看到，当原始“主”数据帧中的 car1 不是 NA 时，car1 的值为 NA。这里发生了什么？

谢谢。

Answer 1

当然，您只需将条件放在i 表达式中即可。

setDT(main)
main[size >1 &
       value == 522 &
       name == "george" &
       date >= as.POSIXct("2015-01-01 03:44:00",tz="GMT") &
       date >= as.POSIXct("2015-01-01 08:44:00",tz="GMT") &
       (car1 == "F" | car2 == "F"), ]

结果：

                  date   name value size car1 car2
1: 2015-02-02 09:46:00 george   522    2    B    F

那么，这比subset 快吗？是的。

library(data.table)
library(ggplot2)
library(reshape2)

set.seed(1)

cf <- function(n) {
  main <- 
    data.frame(date = as.POSIXct(Sys.Date()+runif(n, 0, 100)),
               name = sample(c("bob","george"), n, replace=T),
               value = round(runif(n, 400,600), 0), 
               size= sample(1:5, n, replace=T), 
               car1= sample(LETTERS[1:6], n, replace=T), 
               car2= sample(LETTERS[1:6], n, replace=T),
               stringsAsFactors=F)
  mdt <- data.table(main)
  setkey(mdt, date, name, value,size,car1,car2)

  pre <- Sys.time()
  mdt[size > 1 & value > 100  & name == "george" &
         date >= as.POSIXct(Sys.Date()) & date <= as.POSIXct(Sys.Date()+50) &
         (car1 == "F" | car2 == "F"), ]
  dt_time <- Sys.time() - pre

  pre <- Sys.time()
  subset(main, 
         size > 1 & value > 100 & name == "george" &
         date >= as.POSIXct(Sys.Date()) & date <= as.POSIXct(Sys.Date()+50) &
         (car1 == "F" | car2 == "F"))
  subset_time <- Sys.time() - pre

  return(c(n=n, dt_time=dt_time, subset_time=subset_time))
}

result <- sapply(10^(2:7), cf)
result <- melt(data.frame(t(result)), id.var='n')

ggplot(result, aes(x=n, y=value, color=variable)) +
  geom_point() + geom_line() + theme_bw() +
  scale_x_log10()