内存流耗尽

Question

我正在将一些字节写入 MemoryStream。我给它的大小是 100 MB

  using (MemoryStream Stream = new MemoryStream())
        {             
                for ( loop 1400 time)
                {                        
                  func(i, OStream, Stream, );

                }

                lock (this)
                {                       
                 Stream.WriteTo(OStream);
                }

}

func(i, OStream, Stream)
{
  loop 19 times
      get buffer;
   Stream.Write(buffer, 0, buffer.Length);
}

缓冲区是一个byte[]，大小从65536到116454不等。我循环了1000次。 我在 for 循环中编写它，但我得到 OutOfMemoryException 异常。

有没有办法扩展 MemoryStream 并避免异常？

Answer 1

考虑到数据量，字节数组最小为 6000*65536 字节，

即使垃圾收集器无法在两者之间进行清理，您也可能会认为最大总计为 2200 MB（字节数组为 700，初始内存流为 100，第一次扩展为 200，...）。事实上，情况可能就是这样，并且留下了“足够”的记忆。但是，它可能在连续块中不可用。

您可能面临的是内存碎片问题。大量的字节数组往往超过 85001 字节，因此它们被分配在大对象堆上。大对象堆没有被压缩，因此会产生碎片。

您可以尝试使用How to use WinDbg to track down .NET OutOfMemoryExceptions 的答案。我还发布了memory fragmentation example，以防您想与它进行比较。

可能的修复

一个快速的解决方法是编译为 x64，因为那里有更多可用内存。更清洁的方法取决于您的实际情况，并且需要优化算法，例如您可以提前计算所需结果的总大小，这样 MemoryStream 就不需要将其大小加倍。

使用单个 200 kB 字节数组并用临时数据重新填充它而不是到处创建新数组也可能很好。

如果您的最终任务是将数据写入文件，请使用 FileStream 并将其直接写入文件。

您也可以完全摆脱 MemoryStream 并将所有字节数组保存在 List<byte[]> 中。

可能还有许多其他解决方案...