在 R 中循环以从不同的 .csv 文件中获取特定列和其余列的总和

Question

所以我有大约 300 个大型 .csv 文件。我需要获取第 1 列和第 2 列，然后将每个文件的第 3 列和第 20 列相加。最快的方法是什么？ 谢谢

Answer 1

首先将所有文件放在一个文件夹中。

filenames <- list.files(pattern = ".csv")

all <- lapply(filenames, function(name) {
  readr:: read_csv(name)
})

根据您的描述，列表的长度应为 300，每个项目包含一个数据框。如果要绑定所有数据帧的行，可以使用 dplyr 的 bind_rows()。下面是一个基于示例数据集的解决方案，每个数据集有 4 列。

# assumed dataset post importing into a list from step 1
listOfDataFrames <- vector(mode = "list", length = 4)

for (i in 1:4) {
  listOfDataFrames[[i]] <- data.frame(Col1=sample(letters, 5, rep=F),
                                      Col2=rnorm(5), Col3=rnorm(5))
}


all_df <- dplyr::bind_rows(listOfDataFrames)
required_df <- all_df[,1:2]
sum_of_cols <- apply(all_df[,3:4], 2, sum)

===== 根据新信息编辑答案 =====

如果您的所有 csv 文件 d001 到 d300 都在同一个文件夹中，您可以应用我在上面分享的相同原则（我不确定代码的效率，但它应该仍然有效）。
第 1 步：将所有数据帧加载到单个列表中
第 2 步：遍历列表，对所有数据帧（列表的每个元素）执行相同的转换
第 3 步：遍历列表，将列表的每个元素写入单独的 csv 文件

这是一个示例代码：

filenames <- list.files(pattern = ".csv")

all <- lapply(filenames, function(name) {
  readr:: read_csv(name)
})


all_transformed <- lapply(all, function(df) {
  transmute(df, i, j, sum = sum(h01:h24, na.rm = TRUE))
})

names(all_transformed) <- paste0("d",1:length(all_transformed))
lapply(1:length(all_transformed), function(i) write.csv(all_transformed[[i]], 
                                                file = paste0(names(all_transformed[i]), ".csv"),
                                                row.names = FALSE))