Python：如何写入子进程的标准输入并实时读取其输出

Question

我有 2 个程序。

第一个（实际上可以用任何语言编写，因此根本无法更改）如下所示：

#!/bin/env python3

import random

while True:
    s = input()  # get input from stdin
    i = random.randint(0, len(s))  # process the input
    print(f"New output {i}", flush=True)  # prints processed input to stdout

它永远运行，从stdin 读取一些内容，处理它并将结果写入stdout。

我正在尝试使用asyncio 库在 Python 中编写第二个程序。
它将第一个程序作为子进程执行，并尝试通过其stdin 为其提供输入，并从其stdout 检索结果。

到目前为止，这是我的代码：

#!/bin/env python3

import asyncio
import asyncio.subprocess as asp


async def get_output(process, input):
    out, err = await process.communicate(input)
    print(err) # shows that the program crashes
    return out

    # other attempt to implement

    process.stdin.write(input)
    await process.stdin.drain()  # flush input buffer

    out = await process.stdout.read()  # program is stuck here
    return out


async def create_process(cmd):
    process = await asp.create_subprocess_exec(
        cmd, stdin=asp.PIPE, stdout=asp.PIPE, stderr=asp.PIPE)
    return process


async def run():
    process = await create_process("./test.py")

    out = await get_output(process, b"input #1")
    print(out) # b'New output 4'
    out = await get_output(process, b"input #2")
    print(out) # b''
    out = await get_output(process, b"input #3")
    print(out) # b''
    out = await get_output(process, b"input #4")
    print(out) # b''

async def main():
    await asyncio.gather(run())

asyncio.run(main())

我很难实现get_output 功能。它将一个字节串（根据.communicate() 方法的input 参数的需要）作为参数，将其写入程序的stdin，从其stdout 读取响应并返回它。

现在，只有第一次调用 get_output 才能正常工作。这是因为.communicate() 方法的实现调用了wait() 方法，从而有效地导致程序终止（它不是故意的）。这可以通过检查get_output 函数中err 的值来验证，这表明第一个程序到达EOF。因此，对get_output 的其他调用返回一个空字节串。

我尝试了另一种方法，甚至不太成功，因为程序卡在out = await process.stdout.read() 行。我还没弄清楚为什么。

我的问题是如何实现get_output 函数以（近）实时捕获程序的输出并保持运行？它不必使用asyncio，但我发现这个库是迄今为止最好的。

提前谢谢你！

Answer 1

如果第一个程序保证只打印一行输出以响应它读取的输入行，您可以将await process.stdout.read() 更改为await process.stdout.readline()，您的第二种方法应该可以工作。

它对您不起作用的原因是您的 run 函数有一个错误：它从不向子进程发送换行符。因此，子进程卡在input() 中并且永远不会响应。如果您在传递给get_output 的字节文字末尾添加\n，则代码可以正常工作。