为什么 subprocess.Popen 参数长度限制小于操作系统报告的长度？

Question

我在 Linux 3.16.0 上运行 Python 3.4.3。我想使用subprocess.Popen 运行一个带有长单个参数（复杂的 Bash 调用）的命令，大约 200KiB。

根据getconf 和xargs，这应该在我的范围内：

$ getconf ARG_MAX
2097152
$ xargs --show-limits < /dev/null
Your environment variables take up 3364 bytes
POSIX upper limit on argument length (this system): 2091740
POSIX smallest allowable upper limit on argument length (all systems): 4096
Maximum length of command we could actually use: 2088376
Size of command buffer we are actually using: 131072

但是，Python 失败的限制要小得多：

>>> subprocess.Popen('echo %s > /dev/null' % ('a' * (131072-4096)), shell=True, executable='/bin/bash')
<subprocess.Popen object at 0x7f4613b58410>
>>> subprocess.Popen('echo %s > /dev/null' % ('a' * (262144-4096)), shell=True, executable='/bin/bash')
Traceback (most recent call last):
  [...]
OSError: [Errno 7] Argument list too long

请注意，Python 限制与“实际使用”命令缓冲区 xargs 报告的大致相同。这表明xargs 在某种程度上足够聪明，可以从较小的限制开始并根据需要增加限制，但 Python 不是。

问题：

1. 为什么 Python 限制小于 2MiB 的 OS 限制？
2. 我可以增加 Python 限制吗？
3. 如果是，怎么做？

Answer 1

This 其他问题与您的类似，但适用于 Windows。在这种情况下，您可以通过避免使用 shell=True 选项来绕过任何 shell 限制。

否则，您可以向subprocess.Popen() 提供文件列表，就像在该场景中所做的那样，并按照@Aaron Digulla 的建议。

Answer 2

单个字符串参数的最大大小限制为131072。与python无关：

~$ /bin/echo "$(printf "%*s" 131071 "a")">/dev/null
~$ /bin/echo "$(printf "%*s" 131072 "a")">/dev/null
bash: /bin/echo: Argument list too long

实际上是MAX_ARG_STRLEN 决定了单个字符串的最大大小：

作为自 2.6.23 起的附加限制，一个参数不得长于 MAX_ARG_STRLEN (131072)。 如果您生成像“sh -c 'generated with long arguments'”这样的长调用，这可能会变得相关。 （由 Xan Lopez 和 Ralf Wildenhues 指出）

请参阅“参数数量和一个参数的最大长度”下的this discussion of ARG_MAX，以及unix.stackexchange 下的this question。

你可以在binfmts.h看到它：

/*
 * These are the maximum length and maximum number of strings passed to the
 * execve() system call.  MAX_ARG_STRLEN is essentially random but serves to
 * prevent the kernel from being unduly impacted by misaddressed pointers.
 * MAX_ARG_STRINGS is chosen to fit in a signed 32-bit integer.
 */
#define MAX_ARG_STRLEN (PAGE_SIZE * 32)
#define MAX_ARG_STRINGS 0x7FFFFFFF

~$ echo $(( $(getconf PAGE_SIZE)*32 )) 
131072

你可以传递多个长度为131071的字符串：

subprocess.check_call(['echo', "a"*131071,"b"*131071], executable='/bin/bash',stdout=open("/dev/null","w"))

但单个字符串 arg 不能超过 131071 字节。