为什么 Popen.stdout 只包含部分输出？

Question

我在 python 中使用 subprocess 模块同时运行两个进程：

p_topic = subprocess.Popen(['rostopic','echo','/msg/address'], stdout=PIPE)
p_play = subprocess.Popen(['rosbag','play',bagfile_path])

这些是ROS 进程：p_topic 侦听要播放的.bag 文件并将该.bag 文件中的某些信息输出到标准输出流；然后，我想使用 p_topic.stdout 对象（其行为类似于文件）访问此输出。

但是，我发现p_topic.stdout 对象仅包含它应该具有的前~1/3 的输出行——也就是说，与手动运行这两个命令相比，同时在两个shell 中并排一边。

我尝试等待几秒钟以完成输出，但这并没有改变任何东西，它与p_topic.stdout 每次捕获的行数大致相同。任何有关这可能是什么的提示将不胜感激！

编辑：

阅读代码如下：

#wait for playing to stop
while p_play.poll() == None:
    time.sleep(.1)

time.sleep(X)#wait for some time for the p_topic to finish
p_topic.terminate()

output=[]
for line in p_topic.stdout:
    output.append(line)

请注意 time.sleep(X) 中的值 X 没有任何区别

Answer 1

默认情况下，当进程的stdout 未连接到终端时，输出是块缓冲的。当连接到终端时，它是线路缓冲的。您希望得到完整的行，但除非rostopic unbuffers 或显式行缓冲其stdout，否则您不能（如果它是C 程序，您可以使用setvbuf 使其自动化）。

另一种（可能重叠）的可能性是管道缓冲区本身正在填充（管道缓冲区通常相当小），并且因为您从不耗尽它，rostopic 填充了管道缓冲区，然后无限期地阻塞，直到你杀死它，当您阅读过程的stdout 时，只留下设法适合管道的东西被排出。在这种情况下，您需要生成一个线程以保持管道从 Python 中排出，或者让您的主线程使用 select 模块组件来监视和排出管道（与轮询其他进程混合）。线程通常更容易，但您确实需要小心避免线程安全问题。

Answer 2

是否值得尝试进程通信/等待？而不是睡觉，这会解决你的问题吗？

我有这个是通用的，所以不确定你是否可以把它改成你需要的？

    executable_Params = "{0} {1} {2} {3} {4}".format(my_Binary, 
                                                       arg1, 
                                                       arg2, 
                                                       arg3, 
                                                       arg4)

    # execute the process
    process = subprocess.Popen(shlex.split(executable_Params), 
                               shell=False, 
                               stderr=subprocess.PIPE, 
                               stdout=subprocess.PIPE)


    stdout, stderr = process.communicate()
    ret_code = process.wait()

    if ret_code == 0:
        return 0
    else:
        #get the correct message from my enum method
        error_msg = Process_Error_Codes(ret_code).name
        raise subprocess.CalledProcessError(returncode=ret_code, 
                                            cmd=executable_Params)