R代码逐个打开文件执行操作并关闭打开的文件

Question

我正在开发 R Studio。

我有大约 50 个 txt 文件，所有这些文件都有类似格式的数据（14 列以相同的顺序）。每个文件都很大（~100MB）。我将所有文件保存在一个文件夹中。我需要做的是编写一个 R 代码，以便我可以打开一个文件，执行一些操作，将输出写入目标文件并关闭文件。在此之后，我需要按照剩余文件的流程进行操作。我想自动化这个过程，但不确定如何继续。尝试搜索，但找不到我可以申请的内容。

我已经为一个文件完成了此操作，但不确定可以帮助我自动化处理 50 个文件的过程的代码。请求帮助.....

library(data.table)
library(dplyr)
library(tidyverse)

#### Opening One File
myfile=fread("C:/Users/shegu/Desktop/LOB30SCRIP_010318.txt", 
sep="|",header=FALSE, stringsAsFactors = TRUE)

#### Renaming cols
colnames(myfile) <- c("Trading_Session", "Scrip_Code", "Buy_Sell", 
        "Order_Type", "Rate_in_Paise", "Quantity","Avl_Quantity", "Order_Time_Stamp", 
        "Retention", "AUD_Code", "Order_ID", "Action_ID", "Error_Code","ALGO_Flag")

#### Changing Format of cols

myfile$Order_Time_Stamp=as.Date(myfile$Order_Time_Stamp, "%Y-%m-%d %H:%M:%S")
myfile$Scrip_Code=as.factor(myfile$Scrip_Code)
myfile$Order_ID=as.factor(myfile$Order_ID)

#### Performing Group-by operation (this needs to be done on each file in my folder)

myfile_by_AUD_Code=myfile%>%
    group_by(Scrip_Code,ALGO_Flag,AUD_Code)%>%
    summarise(n())

#### Writing results to target file (need results for all files in this target file)
       write.csv(myfile_by_AUD_Code,"C:/Users/shegu/Desktop/BSE_Data/Target.csv", 
       row.names = FALSE)

Answer 1

您已经完成了大部分步骤。您只需要使用应用于目录中所有文件的函数来概括它们。我建议你以下。顺便说一句，你加载了太多的包：因为你使用 fread 保持 data.table 方法。

library(data.table)

files <- list.files("C:/Users/shegu/Desktop/",
                    full.names = TRUE, pattern = ".csv")


clean_file <- function(filename){

  data <- fread(filename, sep="|",header=FALSE, stringsAsFactors = TRUE)

  #### Renaming cols
  data.table::setnames(data, new = c("Trading_Session", "Scrip_Code", "Buy_Sell", 
                               "Order_Type", "Rate_in_Paise", "Quantity","Avl_Quantity", "Order_Time_Stamp", 
                               "Retention", "AUD_Code", "Order_ID", "Action_ID", "Error_Code","ALGO_Flag"),
                       old = colnames(data)
  )

  data[, Order_Time_Stamp := as.Date(Order_Time_Stamp, "%Y-%m-%d %H:%M:%S")]
  data[, Scrip_Code := as.factor(Scrip_Code)]
  data[, Order_ID := as.factor(Order_ID)]

  #### Performing Group-by operation (this needs to be done on each file in my folder)
  myfile_by_AUD_Code <- data[, .(nobs = .N) ,by = c("Scrip_Code","ALGO_Flag","AUD_Code")]

  ### Write file
  fwrite(myfile_by_AUD_Code, gsub(".csv","_summary.csv",filename))

  return(NULL)  
}

lapply(files,clean_file)

使用list.files 函数检测文件名。我添加了一个模式参数以确保仅列出 csv 文件。如果您的目录中有您不想阅读的文件，请添加其他元素。

我建议您将文件写为old_filename_summary.csv 如果不适合您，请更改该行。

其余的只是你的例子的data.table 中的一个翻译