归档日志文件时内存不足错误

Question

我遇到了一个控制台作业的问题，该作业运行并创建了一个我在午夜存档的每日日志文件。

这会创建一个第二天的空白日志文件和一个名称为昨天日期的存档文件，以及旧文件的内容，用于调试我可能遇到但直到第二天才知道的问题。

但是，自从我启动 BOT 的工作后，我在尝试归档文件时遇到了系统内存不足错误的问题。

起初我根本无法获得存档文件，然后我想出了一种方法来至少获得最后 100,000 行，但这还远远不够。

我将所有内容都包装在 3 次尝试/捕获中

1. I/O
2. 系统内存不足
3. 标准异常

但是，我得到的总是 OutOfMemoryException，例如

System.OutOfMemoryException 错误：抛出了“System.OutOfMemoryException”类型的异常。;

举个例子，100,000 行的日志大约是 11MB 文件

一个标准的完整日志文件可以是从 1/2 GB 到 2 GB 的任何文件

我需要知道的是：

a) 尝试使用 File.ReadAllText 或我调用 ReadFileString 的自定义 StreamReader 函数时，标准文本文件的大小会引发内存不足错误，例如

public static string ReadFileString(string path)
{
    // Use StreamReader to consume the entire text file.
using (StreamReader reader = new StreamReader(path))
{
    return reader.ReadToEnd();
    }
}

b) 是我的计算机内存（我有 16GB RAM - 复制时使用了 8GB）还是我在 C# 中使用的对象在打开和复制文件时失败。

存档时，我首先尝试使用我的自定义 ReadFileString 函数（见上文），如果返回 0 字节的内容，我尝试 File.ReadAllText，然后如果失败，我尝试自定义函数来获取最后 100,000 行，这真的不足以在当天早些时候调试错误。

日志文件在午夜创建新文件时开始并记录一整天。我以前从来没有出现过内存不足错误，但是自从我调高方法调用的频率后，日志记录已经扩大，这意味着文件大小也有。

这是我获取最后 100,000 行的自定义函数。我想知道如果 IT 部门不抛出内存不足错误，我可以得到多少行，而我根本没有得到最后几天日志文件的任何内容。

人们对保存 X 行所需的各种方法/内存的最大文件大小有什么建议，以及获取尽可能多的日志文件的最佳方法是什么？

例如，某种方式逐行循环，直到遇到异常，然后保存我所拥有的。

这是我的 GetHundredThousandLines 方法，它记录到一个非常小的调试文件中，因此我可以查看存档过程中发生的错误。

private bool GetHundredThousandLines(string logpath, string archivepath)
{
    bool success = false;

    int numberOfLines = 100000;


    if (!File.Exists(logpath))
    {
    this.LogDebug("GetHundredThousandLines - Cannot find path " + logpath + " to archive " + numberOfLines.ToString() + " lines");
    return false;
    }

    var queue = new Queue<string>(numberOfLines);

    using (FileStream fs = File.Open(logpath, FileMode.Open, FileAccess.Read, FileShare.Read))
    using (BufferedStream bs = new BufferedStream(fs))  // May not make much difference.
    using (StreamReader sr = new StreamReader(bs))
    {
    while (!sr.EndOfStream)
    {
        if (queue.Count == numberOfLines)
        {
        queue.Dequeue();
        }

        queue.Enqueue(sr.ReadLine() + "\r\n");
    }
    }

    // The queue now has our set of lines. So print to console, save to another file, etc.
    try
    {

    do
    {        
        File.AppendAllText(archivepath, queue.Dequeue(), Encoding.UTF8);
    } while (queue.Count > 0);


    }
    catch (IOException exception)
    {
    this.LogDebug("GetHundredThousandLines - I/O Error accessing daily log file with ReadFileString: " + exception.Message.ToString());
    }
    catch (System.OutOfMemoryException exception)
    {
    this.LogDebug("GetHundredThousandLines - Out of Memory Error accessing daily log file with ReadFileString: " + exception.Message.ToString());
    }
    catch (Exception exception)
    {
    this.LogDebug("GetHundredThousandLines - Exception accessing daily log file with ReadFileString: " + exception.Message.ToString());
    }


    if (File.Exists(archivepath))
    {
    this.LogDebug("GetHundredThousandLines - Log file exists at " + archivepath);
    success = true;
    }
    else
    {
    this.LogDebug("GetHundredThousandLines - Log file DOES NOT exist at " + archivepath);
    }

    return success;

}

任何帮助将不胜感激。

谢谢

Answer 1

尝试： 将队列和流位置保持在类范围内，在内存不足异常时尝试 GC.Collect() 并再次调用函数。寻找流到最后一个位置并继续。 要么： 使用像 sqlite 这样的一个数据库，并在每个表中保留最新的 100000 条记录。