r - 读入多个文件并按组从列中选择最大值

Question

我正在寻找最优雅的方式循环并读取按日期组织的多个文件，如果基于多个键发生任何更改，则选择最新的值。

遗憾的是，我需要读取所有文件而不仅仅是最后一个文件的原因是因为文件中可能有一个我想捕获的实例消失了。

以下是文件外观的示例（我发布逗号分隔，即使它是固定宽度）

file_20200101.txt
key_1,key_2,value,date_as_numb
123,abc,100,20200101
456,def,200,20200101
789,xyz,100,20200101
100,foo,15,20200101

file_20200102.txt
key_1,key_2,value,date_as_numb
123,abc,50,20200102
456,def,500,20200102
789,xyz,300,20200102

以及所需输出的示例：

desired_df
key_1,key_2,value,date_as_numb
123,abc,50,20200102
456,def,500,20200102
789,xyz,300,20200102
100,foo,15,20200101

此外，我知道这里有一些代码可以读取多个文件，然后获得理想的输出，但我需要它在循环内。数据框太大而无法导入和绑定所有文件：

files <- list.files(path, pattern = ".txt")

df <- files %>%
  map(function(f) {
    
    print(f)
    
    df <- fread(f)
    df <- df %>% mutate(date_as_numb = f)
    
    return(df)
    
  }) %>% bind_rows()

df <- df %>% 
  mutate(file_date = as.numeric(str_remove_all(date_as_numb, ".*_"))) %>% 
  group_by(key_1, key_2) %>% 
  filter(date_as_numb == max(date_as_numb))

提前致谢！

Answer 1

不知道什么对你来说“太大了”。数据表可以（据称）处理非常大的数据。所以如果列表的bind_rows不行，可以使用数据表。

（根据我自己的经验，dplyr::group_by 在大型数据（例如大约 10^6 行）中处理许多组（例如 10^5 组）时可能会非常慢。我对数据没有太多经验。表，但所有线程都提到它对大数据的优越性）。

我用过this answer for merging a list of data tables

library(data.table)
dt1 <- fread(text = "key_1,key_2,value,date_as_numb
123,abc,100,20200101
456,def,200,20200101
789,xyz,100,20200101
100,foo,15,20200101")

dt2 <- fread(text = "key_1,key_2,value,date_as_numb
123,abc,50,20200102
456,def,500,20200102
789,xyz,300,20200102")

ls_files <- list(dt1, dt2) 

# you would have created this list by calling fread with lapply, like 
# ls_files <- lapply(files, fread)

# Now here a two-liner with data table.

alldata <- Reduce(function(...) merge(..., all = TRUE), ls_files)

alldata[alldata[, .I[which.max(date_as_numb)], by = .(key_1, key_2)]$V1]
#>    key_1 key_2 value date_as_numb
#> 1:   100   foo    15     20200101
#> 2:   123   abc    50     20200102
#> 3:   456   def   500     20200102
#> 4:   789   xyz   300     20200102

^{由reprex package (v0.3.0) 于 2021-01-28 创建}