如何限制堆大小？答案

【问题标题】：How to limit the heap size?如何限制堆大小？
【发布时间】：2011-01-19 11:14:32
【问题描述】：

我有时会编写 Python 程序，这些程序在执行前很难确定它会使用多少内存。因此，我有时会调用一个尝试分配大量 RAM 的 Python 程序，从而导致内核大量交换并降低其他正在运行的进程的性能。

因此，我希望限制 Python 堆可以增长多少内存。当达到限制时，程序可以简单地崩溃。最好的方法是什么？

如果重要的话，很多代码都是用 Cython 编写的，所以它应该考虑到那里分配的内存。我没有嫁给纯 Python 解决方案（它不需要是可移植的），所以在 Linux 上运行的任何东西都可以。

【问题讨论】：

我对这个问题感到困惑。它似乎包含了一个答案，但并没有说明它有什么问题。
看起来他已将接受的答案的代码复制到他的问题中。大概是解决办法吧？
@amcnabb 我从问题中删除了答案

标签： python linux memory

【解决方案1】：

查看resource.setrlimit()。它仅适用于 Unix 系统，但它似乎是您正在寻找的，因为您可以使用 resource.RLIMIT_DATA 参数为您的进程和进程的子进程选择最大堆大小。

编辑：添加示例：

import resource

rsrc = resource.RLIMIT_DATA
soft, hard = resource.getrlimit(rsrc)
print 'Soft limit starts as  :', soft

resource.setrlimit(rsrc, (1024, hard)) #limit to one kilobyte

soft, hard = resource.getrlimit(rsrc)
print 'Soft limit changed to :', soft

我不确定您的用例到底是什么，但您可能需要使用 resouce.RLIMIT_STACK 来限制堆栈的大小。超过此限制将向您的进程发送一个 SIGSEGV 信号，要处理它，您需要使用 setrlimit Linux manpage 中描述的备用信号堆栈。不过，我不确定 sigaltstack 是否在 python 中实现，因此如果您想从越过这个边界中恢复过来，这可能会很困难。

【讨论】：

你能举个例子吗？我尝试设置各种资源限制，但我仍然能够分配千兆字节列表。资源模块“感觉不错”，但我无法让它在 Linux 上运行。
我将我的测试添加到问题中。我的理解是，一旦达到限制，Python 程序应该退出。
另外，我不关心如果达到限制会发生什么——程序可能会崩溃、挂起或其他任何情况，只要它不继续分配更多内存。
是的，使用 RLIMIT_DATA 对我也不起作用，但 RLIMIT_STACK 是 (Mac OS X)。
如果 RLIMIT_DATA 不适合您，请尝试 RLIMIT_AS（最大地址空间）。 @杨

【解决方案2】：

看看ulimit。它允许设置资源配额。可能还需要适当的内核设置。

【讨论】：

无论如何，当您使用 PAM 时，/etc/security/limits.conf 是设置限制的更好位置。 ulimit 只是一个 Bash shell 函数。
ulimit 使用与 Python 资源模块相同的系统调用

【解决方案3】：

以下代码将内存分配给指定的最大驻留集大小

import resource

def set_memory_limit(memory_kilobytes):
    # ru_maxrss: peak memory usage (bytes on OS X, kilobytes on Linux)
    usage_kilobytes = lambda: resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
    rlimit_increment = 1024 * 1024
    resource.setrlimit(resource.RLIMIT_DATA, (rlimit_increment, resource.RLIM_INFINITY))

    memory_hog = []

    while usage_kilobytes() < memory_kilobytes:
        try:
            for x in range(100):
                memory_hog.append('x' * 400)
        except MemoryError as err:
            rlimit = resource.getrlimit(resource.RLIMIT_DATA)[0] + rlimit_increment
            resource.setrlimit(resource.RLIMIT_DATA, (rlimit, resource.RLIM_INFINITY))

set_memory_limit(50 * 1024)  # 50 mb

在 linux 机器上测试。

【讨论】：