python multiprocessing 动态创建进程和管道

Question

我希望能够根据定义子元素的输入文件在父元素和子元素之间动态创建子进程和管道。

我可以创建子进程，但我需要能够创建管道以与特定节点通信并使用这些管道发送特定的处理数据：

if __name__ == '__main__':
    q = mp.Queue()
    t = mp.Process(name="transactor", target=t, args=("transaction.csv",))
    nodes = [mp.Process(name=str(n), target=f, args=(n,)) for n in nodeArray]

    for node in nodes:
        node.start()

我的问题在于，我不明白如果创建的进程数量会改变，如果您只知道目标节点或子节点的身份，您如何创建可变数量的管道并选择正确的管道进行通信?

当谈到 python 时，我有点菜鸟，我看到了很多使用 Python 多处理库来处理简单的父子进程和管道的很好的例子，但没有什么

Answer 1

在创建流程时创建管道，并返回流程的元组和管道。

import multiprocessing as mp

def mkproc(func):
    parent_conn, child_conn = mp.Pipe()
    p = mp.Process(func, args=(child_conn,))
    p.start()
    return (p, parent_conn)

调用mkproc创建进程后，将结果存入列表；

allprocs = [mkproc(f) for f in (foo, bar, baz)]

allproc 的内容现在是 (Process, Pipe) 元组的列表。如果您遍历列表，您将拥有进程和属于它的管道；

for proc, conn in allprocs:
    # do something with the process or pipe.