System.OutOfMemoryException：引发了“System.OutOfMemory”类型的异常

Question

private List<T> ReadCurrentFile(string currentExtractedFile, PurgingDetails purgingParams)
{
    List<T> thinLogDoList = new List<T>();
    using (StreamReader sr = new StreamReader(currentExtractedFile))
    {
        string currentLine = string.Empty;
        Dictionary<string, string> ColumnNamesDictionary = null;
        while ((currentLine = sr.ReadLine()) != null)
        {
            if (currentLine.IsNotNullOrEmpty() && currentLine.Contains("Æ"))
            {
                string[] columnNames = currentLine.Split(new char[] { 'Æ' });
                ColumnNamesDictionary = FillColumnNameDictionary(columnNames);

                if (CheckForValidConditions(ColumnNamesDictionary, purgingParams))
                {
                    thinLogDoList.Add(FillThinLogDO(ColumnNamesDictionary));
                }
            }
        }
    }
    return thinLogDoList;
}

（以上代码用于读取文件并通过填充对象将数据添加到列表中。） 该函数正在读取 zip 文件中大小为 10 MB 的文件，首先我提取 zip 文件，然后读取数据，使用此函数并将其存储到 List 中，然后删除提取的 zip 文件。它适用于大约 6L(6,00,000) 数据，但在该数据之上它会引发异常。 我想阅读更多数据 10L(10,00,000) 我该怎么做？

Answer 1

不返回列表。相反，使用 yield return 来遍历数据：

private IEnumerable<i1LogThinDO> ReadCurrentFile(string currentExtractedFile,
                                                 PurgingDetails purgingParams)
{
    using (StreamReader sr = new StreamReader(currentExtractedFile))
    {
        string currentLine = string.Empty;
        Dictionary<string, string> ColumnNamesDictionary = null;
        while ((currentLine = sr.ReadLine()) != null)
        {
            if (currentLine.IsNotNullOrEmpty() && currentLine.Contains("Æ"))
            {
                string[] columnNames = currentLine.Split(new char[] { 'Æ' });
                ColumnNamesDictionary = FillColumnNameDictionary(columnNames);

                if (CheckForValidConditions(ColumnNamesDictionary, purgingParams))
                {
                    yield return FillThinLogDO(ColumnNamesDictionary);
                }
            }
        }
    }
}

这样，球就在呼叫者的院子里。调用者必须能够处理从此方法返回的数据，而不会将它们全部保存在内存中。这可能意味着您还必须重新设计调用方法，但如果您可以在不将数据保存在内存中的情况下完成所有处理，则会大大减少应用程序的内存占用。