清除文本文件中过多旧数据的高效方法

Question

我有一些文本文件需要能够即时写入，而且经常写入。这些文件可能会变得非常大，但其中的文本在两次迭代之间可能会完全不同。

这意味着文本可以比以前更短。如果我不先清除旧数据，最终会在我的新数据末尾附加旧数据。如 MSDN 文档所示。

如果用较短的字符串（例如“Second run”）覆盖较长的字符串（例如“This is a test of the OpenWrite method”），文件将包含字符串的混合（“Second runtest of OpenWrite 方法”）。

但是文档没有指定补救甚至防止这种情况发生的方法。

目前我正在做以下事情：

File.WriteAllText(path, string.Empty);
using (Stream file = File.OpenWrite(path))
{
    file.Write(dataToWrite, 0, dataToWrite.Length);
}

我使用File.WriteAllText(path, string.Empty) 清空现有文件的内容，然后将新内容写入文件。

但是，必须检查整个文件两次感觉很浪费（首先清除它，然后将新数据写入其中）。

有没有一种方法可以用我的新数据覆盖旧数据，只检查“剩余”数据并清除它，而不用两次检查整个文件？

不一定非要使用Stream.Write。任何可以完成工作且速度更快的替代方案都是可以接受的。

---

结果

在不同的机器上运行 5 次写入 2441 kb 数据（并清除所有旧数据）的 100.000 次迭代后，得出以下结果：

• 我在上面找到的原始方法平均采用4.75589 ms。
• Anderson Pimentel 的 answer 使用 WriteAllBytes 平均得到 4.28946 ms。
• 最快 Dark Falcon 的answer 使用file.Write 并截断平均使用4.14433 ms（并且是最快/最一致的）。
• File.Delete 旧文件和使用FileStream.Write 创建新文件平均占用5.31883 ms。
• MeJustAndrew 的 answer 执行上述操作，但多线程平均占用了 8.12726 ms。 （虽然我不得不承认这很可能是因为我的执行不力，但我在多线程方面的经验并不丰富）

请注意，这些结果适用于 my implementation 和硬件。结果可能因不同的硬件而异。

Answer 1

我建议截断文件：

using (FileStream file = File.OpenWrite(path))
{
    file.Write(dataToWrite, 0, dataToWrite.Length);
    file.SetLength(dataToWrite.Length);
}

您应该测试这是否比写入新文件、删除旧文件以及将新文件重命名为旧名称更好。

Answer 2

你可以写：

File.WriteAllBytes(path, dataToWrite);

根据MSDN：

创建一个新文件，将指定的字节数组写入文件，然后 然后关闭文件。如果目标文件已经存在，它是 覆盖。

Answer 3

正如我所提到的，多线程方法如下所示：

class FileWriter
{
    private int index;
    private string fileName = "file.txt";
    private readonly object obj = new object();
    private string FileName { get { lock (obj) { return fileName + index; } } }

    public void Write(string content)
    {
        lock (obj)
        {
            int deleteIndex = index;
            new Thread(() => DeleteOldFile(deleteIndex)).Start();
            index++;
            new Thread(() => File.WriteAllText(fileName + index, content)).Start();
        }
    }

    public string GetFileContent()
    {
        lock (obj)
        {
            return File.ReadAllText(FileName);
        }
    }

    private void DeleteOldFile(int fileNumber)
    {
        var fileToBeDeleted = fileName + fileNumber;
        if (File.Exists(fileToBeDeleted))
            File.Delete(fileToBeDeleted);
    }
}

注意：我不保证此代码的正确行为，因为我没有对其进行测试。