python子进程在设置了标准输出的Windows上等待孙子

Question

我有一个脚本，它是自动化测试套件的一部分。它在 Windows 上运行非常缓慢，但在 Linux 上却没有，我已经找到了原因。我们正在测试的进程（'frank'）创建了一个子进程（所以是一个孙子进程）。在该孙子进程也结束之前，python 代码不会返回（在 Windows 上 - 在 Linux 上不这样做）。如果没有父进程，孙进程将在 5 秒后杀死自己（它会挂起以防另一个进程与它交谈）

我发现如果我不捕获标准输出，我可以阻止通信功能以这种方式挂起。但我需要标准输出。我在某处读到通信功能正在等待所有管道关闭。我知道孙子的标准输出句柄是重复的，但我无法更改我正在测试的代码。

我一直在寻找解决方案。我尝试了一些创建标志（仍在代码中）但没有帮助。

这是缩减测试-

import os
import sys
import threading
import subprocess


def read_from_pipe(process):
    last_stdout = process.communicate()[0]
    print (last_stdout)

CREATE_NEW_PROCESS_GROUP = 0x00000200
DETACHED_PROCESS = 0x00000008

# start process
command = 'frank my arguments'

cwd = "C:\\dev\\ui_test\\frank_test\\workspace\\report183"

p = subprocess.Popen(command,
                     stdout=subprocess.PIPE,
                     cwd=cwd)

# run thread to read from output
t = threading.Thread(target=read_from_pipe, args=[p])
t.start()
t.join(30)
print('finished')

有什么想法吗？

谢谢。

彼得。

Answer 1

经过@eryksun 的提示和大量的谷歌搜索，我有很多相当复杂的代码！有一次，我考虑过作弊并做 os.system 并重定向到一个临时文件，但后来我意识到我们的测试代码允许命令超时。如果子进程没有死亡，os.system 将永远阻塞。

import os
import sys
import threading
import subprocess
import time
if os.name == 'nt':
    import msvcrt
    import ctypes

# See https://stackoverflow.com/questions/55160319/python-subprocess-waiting-for-grandchild-on-windows-with-stdout-set for details on Windows code
# Based on https://github.com/it2school/Projects/blob/master/2017/Python/party4kids-2/CarGame/src/pygame/tests/test_utils/async_sub.py

from ctypes.wintypes import DWORD
if sys.version_info >= (3,):
    null_byte = '\x00'.encode('ascii')
else:
    null_byte = '\x00'

def ReadFile(handle, desired_bytes, ol = None):
    c_read = DWORD()
    buffer = ctypes.create_string_buffer(desired_bytes+1)
    success = ctypes.windll.kernel32.ReadFile(handle, buffer, desired_bytes, ctypes.byref(c_read), ol)
    buffer[c_read.value] = null_byte
    return ctypes.windll.kernel32.GetLastError(), buffer.value


def PeekNamedPipe(handle):
    c_avail = DWORD()
    c_message = DWORD()
    success = ctypes.windll.kernel32.PeekNamedPipe(handle, None, 0, None, ctypes.byref(c_avail), ctypes.byref(c_message))
    return "", c_avail.value, c_message.value


def read_available(handle):
    buffer, bytesToRead, result = PeekNamedPipe(handle)
    if bytesToRead:
        hr, data = ReadFile(handle, bytesToRead, None)
        return data
    return b''

def read_from_pipe(process):
    if os.name == 'posix':
        last_stdout = process.communicate()[0]
    else:
        handle = msvcrt.get_osfhandle(process.stdout.fileno())
        last_stdout = b''
        while process.poll() is None:
            last_stdout += read_available(handle)
            time.sleep(0.1)
        last_stdout += read_available(handle)
    print (last_stdout)

# start process
command = 'frank my arguments'

cwd = "C:\\dev\\ui_test\\frank_test\\workspace\\report183"

p = subprocess.Popen(command,
                     stdout=subprocess.PIPE,
                     cwd=cwd)

# run thread to read from output
t = threading.Thread(target=read_from_pipe, args=[p])
t.start()
t.join(30)
print('finished')