通过两个大矩阵的 row.names 并行化合并

Question

我正在尝试将 R 中 row.names 的两个大型矩阵与 merge 合并，但这需要相当长的时间。是否有可能并行化 merge 方法？也许以某种方式使用foreach 库？或者也许有更快的解决方案可以完成这项工作？

我有 8 个内核和 24 GB 的 RAM。这两个矩阵大约为 1.4 Gb，由约 900 行和约 22000 列组成。

这里是重现我的数据集的一个小例子的代码：

df1 <- data.frame(x = 1:3, y = 1:3, row.names = c('r1', 'r2', 'r3'))
df2 <- data.frame(z = 5:7, row.names = c('r1', 'r3', 'r7'))
dfMerged <- merge(df1, df2, by = "row.names", all = TRUE)
dfMerged[is.na(dfMerged)] <- 0

Answer 1

data.table 中的相同合并应该更快。我认为它也应该是并行可行的，但它可能会变得更加复杂。这是data.table 中的相同合并。

#Create data.table objects
dt1 <- data.table(x = 1:3, y = 1:3, var=c('r1', 'r2', 'r3'))
dt2 <- data.table(z = 5:7, var = c('r1', 'r3', 'r7'))

#Set merge keys
setkey(dt1,var)
setkey(dt2,var)

#Perform full outer join
dtMerged <- merge(dt1,dt2,all=T)

#Replace NAs with zeros (edited for more efficient answer suggest by Arun)
for (j in c("x", "y", "z")) 
  set(dtMerged, i=which(is.na(dtMerged[[j]])), j=j, value=0L)
dtMerged

var x y z
1:  r1 1 1 5
2:  r2 2 2 0
3:  r3 3 3 6
4:  r7 0 0 7