【问题标题】：Memory errors and list limits?内存错误和列表限制？
【发布时间】：2011-07-29 02:24:20
【问题描述】：

出于科学目的，我需要生成大量（非常）矩阵（马尔可夫链）。我执行微积分，并将其放入 20301 个元素的列表（=我的矩阵的一行）。我需要内存中的所有这些数据才能继续执行下一个马尔可夫步骤，但如果需要，我可以将它们存储在其他地方（例如文件），即使它会减慢我的马尔可夫链遍历速度。我的电脑（科学实验室）：双氙气6核/12线程，12GB内存，操作系统：win64

  Traceback (most recent call last):
  File "my_file.py", line 247, in <module>
    ListTemp.append(calculus)
MemoryError

微积分结果示例：9.233747520008198e-102（是的，超过 1/9000）

存储第19766个元素时出现错误：

ListTemp[19766]
1.4509421012263216e-103

如果我走得更远

Traceback (most recent call last):
  File "<pyshell#21>", line 1, in <module>
    ListTemp[19767]
IndexError: list index out of range

所以这个列表在 19767 循环中有内存错误。

问题：

列表是否有内存限制？是“按列表限制”还是 “全局每个脚本限制”？
如何绕过这些限制？有什么可能吗？
使用 numpy、python64 会有帮助吗？什么他们有内存限制吗？什么关于其他语言？

【问题讨论】：

如果您遇到意外的内存错误，并且您认为应该有足够的 RAM 可用，这可能是因为您使用的是 32 位 python 安装。
大和大！哇！还好你有这么多内存！ ????

标签： python list memory limits

【解决方案1】：

Python 没有内存限制。但是，如果您的 RAM 用完，您将收到 MemoryError。你说list 中有 20301 个元素。这似乎太小而不会导致简单数据类型的内存错误（例如int），但如果每个元素本身都是一个占用大量内存的对象，那么您很可能会耗尽内存。

但是，IndexError 可能是因为您的 ListTemp 只有 19767 个元素（索引 0 到 19766），而您正试图访问最后一个元素。

如果不确切知道自己要做什么，就很难说可以做些什么来避免达到极限。使用numpy 可能会有所帮助。看起来您正在存储大量数据。可能您不需要在每个阶段都存储所有这些。但不知道是不可能说出来的。

【讨论】：

Python 与任何其他程序一样，使用整个虚拟内存，而不仅仅是物理 (RAM)。海报可以增加可用的交换内存（在 Windows 中是一个文件，在 Linux 中是一个分区）。
您也可以在 linux 上使用交换文件。取自 Arch Wiki：# touch /swapfile# fallocate -l 512M /swapfile# dd if=/dev/zero of=/swapfile bs=1M count=512# chmod 600 /swapfile# mkswap /swapfile# swapon /swapfile# echo "/swapfile none swap defaults 0 0" >> /etc/fstab

【解决方案2】：

您看到的MemoryError 异常是可用 RAM 用完的直接结果。这可能是由 Windows (32bit programs) 施加的每个程序限制为 2GB 或您的计算机上缺少可用 RAM 引起的。（这个link 是针对上一个问题）。

如果您使用的是 64 位的 windows 副本，您应该可以使用 64 位的 Python 副本来扩展 2GB。

IndexError 的原因是 Python 在计算整个数组之前遇到了MemoryError 异常。这又是一个内存问题。

要解决这个问题，您可以尝试使用 Python 的 64 位副本，或者更好地找到将结果写入文件的方法。为此看看numpy的memory mapped arrays。

您应该能够将整个计算集运行到其中一个数组中，因为实际数据将写入磁盘，并且只有一小部分保存在内存中。

【讨论】：

你好 Thomas，我认为你是对的，我必须溢出我的 python32 在我的 windows-7-64b 上施加的每个程序的 2GB。 python64程序的限制是什么？谢谢
远远超过您机器中的物理内存，因为您通过移动到 64 位来平方地址空间的大小:)
@ncoghlan 是对的。如果您点击第二行中的链接，则会提到限制。这是一个惊人的8TB。如果你达到了这个限制，那么你肯定做错了什么:)

【解决方案3】：

首先，请参阅 How Big can a Python Array Get? 和 Numpy, problem with long arrays

其次，唯一真正的限制来自您拥有的内存量以及您的系统如何存储内存引用。没有每个列表的限制，因此 Python 会一直运行到内存不足为止。两种可能：

如果您在较旧的操作系统或强制进程使用有限内存量的操作系统上运行，您可能需要增加 Python 进程可以访问的内存量。
使用分块将列表分开。例如，执行列表的前 1000 个元素，腌制并将它们保存到磁盘，然后执行接下来的 1000 个。要使用它们，请一次取消腌制一个块，以免内存不足。这与数据库用于处理超出 RAM 容量的数据的技术基本相同。

【讨论】：

source 因此，在 32 位系统上，python 列表的最大大小是 536,870,912 个元素。 好吧，但就我而言，我离这个值还很远，我的这个进程的内存只有~1.3 Gb（接近python32进程的极限？）。 python64的限制是什么？我的马尔可夫链演练会减慢多少分块？感谢@所有人的回答和建议。学习的好地方！
32 位进程的理论限制为 4 GB 内存，但如果您的操作系统也是 32 位，则显然会更少，因为操作系统会占用一些内存。分块会减慢您的速度，但在某些情况下，您必须接受减速才能完成处理。您在该列表中存储了什么？也许这有助于解释正在发生的事情。

【解决方案4】：

如果您想规避这个问题，您也可以使用搁置。然后，您将创建与您的机器处理能力大小相同的文件，并仅在必要时将它们放在 RAM 上，基本上是写入 HD 并将信息分块拉回，以便您可以处理它。

创建二进制文件并检查信息是否已经在其中，如果是，则创建一个局部变量来保存它，否则写入一些您认为必要的数据。

Data = shelve.open('File01')
   for i in range(0,100):
     Matrix_Shelve = 'Matrix' + str(i)
     if Matrix_Shelve in Data:
        Matrix_local = Data[Matrix_Shelve]
     else:
        Data[Matrix_Selve] = 'somenthingforlater'

希望它听起来不会太古板。

【讨论】：