将 500 个独立的小型 .rds 文件并行读取到单个 data.frame 中

Question

类似的 Q 可能是 R: Applying readRDS to a list object of .Rds file names，但是，该解决方案并不比我的 for loop 更有效。

在一个文件夹中，我存储了500.rds files，命名为file_1.rds、file_2.rds、...、file_500.rds。
每个文件都包含大约200 records 和6 variables，它们是大data.frame 的小块。

mydf <- data.frame()
for (m in 1 : 500) {
        temp <- readRDS(paste0("H://myfolder//file_",m, ".rds"))
        mydf<- rbind(mydf, temp)
}

您对更有效的方法或如何改进代码有任何建议吗？
此外，由于我创建了这些500 .rds files，因此我愿意改进write 流程，例如保存.csv 或任何其他比.rds 更有效的阅读格式。

Answer 1

我找到了使用purrr的解决方案。
问题是有数千个.rds 文件要读取parallelized，我需要使用loop 来并行读取小块。
否则，我会收到内存错误并丢失进度。

mydf<- readRDS("H://folder//mydf.rds")
#Create a vector of string with the names of all rds files to read
rds <- paste0("H://folder//myrds", 1:3870, ".rds")
#Determine the number of iteration to read the files in chunks by 200 each
n <- ceiling(length(rds) / 200)
m <- 1
library(purrr)
while (m <= n) {
#if the loop is **not** in the last iteration
        if(m < n) {
                rds_temp <- paste0("H://folder//myrds", (200*(m-1)+1):(200*m), ".rds")
                temp <- purrr::map_df(rds_temp, readRDS)
                mydf<- rbind(mydf, temp)
#if the loop **is** in the last iteration
        } else if(m == n) {
                rds_temp <- paste0("H://folder//myrds", (200*(m-1)+1):(length(rds)), ".rds")
                temp <- purrr::map_df(rds_temp, readRDS)
                mydf<- rbind(mydf, temp)
        }
        rm(temp)
        gc()
        print(m)
        m <- m + 1
}
saveRDS(mydf, "H://folder//mydf.rds")