合并大文件的最佳方法是什么？

Question

我必须合并数千个大文件（每个约 200MB）。我想知道合并这些文件的最佳方法是什么。行将有条件地复制到合并文件中。可以使用 File.AppendAllLines 还是使用 Stream.CopyTo 吗？

使用 File.AppendAllLines

for (int i = 0; i < countryFiles.Length; i++){
   string srcFileName = countryFiles[i];
   string[] countryExtractLines = File.ReadAllLines(srcFileName);  
   File.AppendAllLines(actualMergedFileName, countryExtractLines);
}

使用 Stream.CopyTo

using (Stream destStream = File.OpenWrite(actualMergedFileName)){
  foreach (string srcFileName in countryFiles){
    using (Stream srcStream = File.OpenRead(srcFileName)){
        srcStream.CopyTo(destStream);
    }
  }
}

Answer 1

sab669 的回答是正确的，您想使用 StreamReader 然后循环遍历文件的每一行... 我建议单独编写每个文件，否则您将很快用完许多 200mb 文件的内存

例如：

foreach(File f in files)
{
    List<String> lines = new List<String>();
    string line;
    int cnt = 0;
    using(StreamReader reader = new StreamReader(f)) {
        while((line = reader.ReadLine()) != null) {
            // TODO : Put your conditions in here
            lines.Add(line);
            cnt++;
        }
    }
    f.Close();
    // TODO : Append your lines here using StreamWriter
}

Answer 2

您可以一个接一个地编写文件。例如：

static void MergingFiles(string outputFile, params string[] inputTxtDocs)
{
    using (Stream outputStream = File.OpenWrite(outputFile))
    {
      foreach (string inputFile in inputTxtDocs)
      {
        using (Stream inputStream = File.OpenRead(inputFile))
        {
          inputStream.CopyTo(outputStream);
        }
      }
    }
}

在我看来，上面的代码确实是高性能的，因为 Stream.CopyTo() 的算法非常简单，因此该方法非常有效。反射器将其核心渲染如下：

private void InternalCopyTo(Stream destination, int bufferSize)
{
  int num;
  byte[] buffer = new byte[bufferSize];
  while ((num = this.Read(buffer, 0, buffer.Length)) != 0)
  {
     destination.Write(buffer, 0, num);
  }
}

Answer 3

假设对于要附加到另一个文件的文件中的每一行，您有一个条件必须为真（即谓词）。

您可以按如下方式高效处理：

var filteredLines = 
    File.ReadLines("MySourceFileName")
    .Where(line => line.Contains("Target")); // Put your own condition here.

File.AppendAllLines("MyDestinationFileName", filteredLines);

这种方法可以扩展到多个文件，避免将整个文件加载到内存中。

如果您不想将所有行附加到文件中，而是要替换内容，您可以这样做：

File.WriteAllLines("MyDestinationFileName", filteredLines);

而不是

File.AppendAllLines("MyDestinationFileName", filteredLines);

另请注意，如果您不使用 UTF8，这些方法的重载允许您指定编码。

最后，不要被不一致的方法命名所抛出。File.ReadLines() 不会将所有行都读入内存，但File.ReadAllLines() 会。但是，File.WriteAllLines() 不会将所有行缓冲到内存中，也不希望它们都缓冲在内存中；它使用IEnumerable<string> 作为输入。