在读取和绑定多个文件时将“文件名”列添加到表中

Question

我在多个目录中有大量 csv 文件，我想将它们读入 R tribble 或 data.table。我使用“list.files()”并将递归参数设置为 TRUE 创建文件名和路径列表，然后使用“lapply()”读取多个 csv 文件，然后使用“bind_rows()”将它们全部粘贴一起：

filenames <- list.files(path, full.names = TRUE, pattern = fileptrn, recursive = TRUE)
tbl <- lapply(filenames, read_csv) %>% 
  bind_rows()

这种方法效果很好。但是，我需要从每个文件名中提取一个子字符串并将其作为列添加到最终表中。我可以像这样使用“str_extract()”获得我需要的子字符串：

sites <- str_extract(filenames, "[A-Z]{2}-[A-Za-z0-9]{3}")

但是，当 lapply() 为每个文件运行 read_csv() 时，我一直不知道如何将提取的子字符串添加为列。

Answer 1

tidyverse 方法：

更新：

readr 2.0 现在内置支持在单个命令中将具有相同列的文件集读取到一个输出表中。只需将要在同一向量中读取的文件名传递给读取函数。例如读取 csv 文件：

(files <- fs::dir_ls("D:/data", glob="*.csv"))
dat <- read_csv(files, id="path")

或者使用map_dfr 和purrr： 使用purrr::map_dfr() 中的.id = "source" 参数添加文件名 加载 .csv 文件的示例：

 # specify the directory, then read a list of files
  data_dir <- here("file/path")
  data_list <- fs::dir_ls(data_dir, regexp = ".csv$")

 # return a single data frame w/ purrr:map_dfr 
 my_data = data_list %>% 
    purrr::map_dfr(read_csv, .id = "source")
  
 # Alternatively, rename source from the file path to the file name
  my_data = data_list %>% 
    purrr::map_dfr(read_csv, .id = "source") %>% 
    dplyr::mutate(source = stringr::str_replace(source, "file/path", ""))
  

Answer 2

data.table 方法：

如果给列表命名，那么在将列表绑定在一起时可以使用这个名称添加到data.table中。

工作流程

files <- list.files( whatever... )
#read the files from the list
l <- lapply( files, fread )
#names the list using the basename from `l`
# this also is the step to manipuly the filesnamaes to whatever you like
names(l) <- basename( l )
#bind the rows from the list togetgher, putting the filenames into the colum "id"
dt <- rbindlist( dt.list, idcol = "id" )

Answer 3

我一般使用以下方法，基于 dplyr/tidyr：

data = tibble(File = files) %>%
    extract(File, "Site", "([A-Z]{2}-[A-Za-z0-9]{3})", remove = FALSE) %>%
    mutate(Data = lapply(File, read_csv)) %>%
    unnest(Data) %>%
    select(-File)

Answer 4

您只需要编写自己的函数来读取 csv 并添加所需的列，然后再组合它们。

my_read_csv <- function(x) {
  out <- read_csv(x)
  site <- str_extract(x, "[A-Z]{2}-[A-Za-z0-9]{3}")
  cbind(Site=site, out)
}

filenames <- list.files(path, full.names = TRUE, pattern = fileptrn, recursive = TRUE)
tbl <- lapply(filenames, my_read_csv) %>% bind_rows()

Answer 5

你可以在这里使用purrr::map2，它的工作原理类似于mapply

filenames <- list.files(path, full.names = TRUE, pattern = fileptrn, recursive = TRUE)
sites <- str_extract(filenames, "[A-Z]{2}-[A-Za-z0-9]{3}")  # same length as filenames

library(purrr)
library(dplyr)
library(readr)
stopifnot(length(filenames)==length(sites))  # returns error if not the same length
ans <- map2(filenames, sites, ~read_csv(.x) %>% mutate(id = .y))  # .x is element in filenames, and .y is element in sites

map2的输出是一个列表，类似于lapply

如果您有purrr 的开发版本，则可以使用imap，它是map2 的包装器，带有索引

Answer 6

您可以基于“站点”构建一个与 tbl 长度完全相同的文件名向量，然后使用 cbind 将两者结合起来

### Get file names
filenames <- list.files(path, full.names = TRUE, pattern = fileptrn, recursive = TRUE)
sites <- str_extract(filenames, "[A-Z]{2}-[A-Za-z0-9]{3}")

### Get length of each csv
file_lengths <- unlist(lapply(lapply(filenames, read_csv), nrow))

### Repeat sites using lengths
file_names <- rep(sites,file_lengths))

### Create table
tbl <- lapply(filenames, read_csv) %>% 
  bind_rows()

### Combine file_names and tbl
tbl <- cbind(tbl, filename = file_names)