R：匹配最近的日期（效率问题）

Question

dt1 <- data.table(x = c("a", "a", "b", "b", "c"),
                  y = c("2016-03-01", "2016-05-10", "2016-04-14", "2016-06-25", "2016-01-12"))

   x          y
1: a 2016-03-01
2: a 2016-05-10
3: b 2016-04-14
4: b 2016-06-25
5: c 2016-01-12

dt2 <- data.table(x = c("a", "b", "b", "a"),
                  y = c("2016-05-13", "2016-04-16", "2016-06-20", "2016-02-28"),
                  z = c("1", "1", "2", "3"))

   x          y z
1: a 2016-05-13 1
2: b 2016-04-16 1
3: b 2016-06-20 2
4: a 2016-02-28 3

close.match <- function(dt1x, dt1y, threshold <= 3){
  if(dt1x %in% dt2$x){
    if(abs(as.numeric(as.Date(dt1y) - as.Date(dt2[x == dt1x][which.min(abs(as.Date(y) - as.Date(dt1y))),y]))) < threshold){
      return(dt2[x == dt1x][which.min(abs(as.Date(y) - as.Date(dt1y))),z])
    } else {
      "unknown"
    }
  } else {
    "unknown"
  }
}

dt1[,z:=dt1[,close.match(x,y),by=1:nrow(dt1)][,V1]]

   x          y       z
1: a 2016-03-01       3
2: a 2016-05-10       1
3: b 2016-04-14       1
4: b 2016-06-25 unknown
5: c 2016-01-12 unknown

想法是有两个事件dt1 和dt2，每个y 的时间戳为x，每个x 可以有多个条目，具有不同的时间戳。如果两个匹配 x 的事件在 3 天内发生，则预期的输出是将列 z 添加到 dt1，其值来自 dt2$z。否则返回“未知”。

上面的代码可以工作并且就是这样做的。但问题是矢量化——它的效率极低。希望找到有关如何以更有效的方式解决此类问题的任何想法。

Answer 1

如果您使用current development version of data.table, v1.9.7，那么您可以使用新的条件连接功能，如下所示：

# v1.9.7+
dt1[dt2, z := i.z, on=.(x, start<=y, end>=y)]

这一步是在将y 列都转换为Date 并将start 和end 单独添加到dt1 之后进行的。

---

有一个FR, #1639可以直接给on参数提供表达式，这样整个任务就可以完成如下：

dt1[dt2, z := i.z, on=.(x, y-3<=y, y+3>=y)]

我看看能不能加快速度。

Answer 2

感谢 David Arenburg，这是我想出的：

dt1 <- data.table(x = c("a", "a", "b", "b", "c"),
                  y = c("2016-03-01", "2016-05-10", "2016-04-14", "2016-06-25", "2016-01-12"))

dt2 <- data.table(x = c("a", "b", "b", "a"),
                  y = c("2016-05-13", "2016-04-16", "2016-06-20", "2016-02-28"),
                  z = c("1", "1", "2", "3"))

dt1[,y:=as.Date(y)]
dt2[,y:=as.Date(y)]

dt1[,start:=y-3]
dt1[,end:=y+3]

dt2[,start:=y]
dt2[,end:=y]

setkey(dt2, start, end)

dt1 <- foverlaps(dt1, dt2, type="any")
dt1 <- dt1[,.(x = i.x, y = i.y, z)]
dt1[is.na(z),z:="unknown"]
dt1

   x          y       z
1: a 2016-03-01       3
2: a 2016-05-10       1
3: b 2016-04-14       1
4: b 2016-06-25 unknown
5: c 2016-01-12 unknown

编辑：好的，虽然这有效。它在大型数据集上有点“爆炸”，相当快地达到 RAM 限制。仍然需要一些改进。

EDIT2：setkey 应该看起来像 setkey(dt2, x, start, end)。否则它将只查找数据集之间所有可能的时间间隔重叠，而不指定匹配变量。在两个数据集上都有超过 100k 的条目确保它过火了。