在 Rust 中使用 python 的多处理库

Question

我使用 Rust 来加速数据处理管道，但我必须按原样运行一些现有的 Python 代码，我想并行化这些代码。在另一个question 中讨论之后，考虑到我的项目的特定限制，创建多个 Python 进程是一种可能的方法。但是，运行下面的代码会产生无限循环。我不太明白为什么。

use cpython::Python;

fn main() {
    let gil = Python::acquire_gil();
    let py = gil.python();
    py.run(r#"
import sys
from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    print('start')
    sys.argv=['']
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()
    "#, None,None).unwrap();
}

输出（一直持续到 Ctrl-C）：

start
start
start
start
start
start
start
start

编辑

正如下面的 cmets 所述，我放弃了尝试从 Python 代码创建进程。 Windows、Python 多处理模块以及如何使用 Rust 创建进程之间的干扰太模糊而无法正确管理。 因此，我将从 Rust 创建和管理它们。因此，该代码更具教科书性：

use std::process::Command;
fn main() {
    let mut cmd = Command::new("python");
    cmd.args(&["-c", "print('test')"]); 
    let process = cmd.spawn().expect("Couldn't spawn process.");
    println!("{:?}", process.wait_with_output().unwrap());
}

Answer 1

我无法重现这个；对我来说，它只是按预期打印start，然后是hello bob。无论出于何种原因，在您的情况下，__name__ 似乎总是等于"__main__"，并且您会得到这个无限递归。我在 Arch Linux 上使用 cpython crate 版本 v0.4.1 和 Python 3.8.1。

解决方法是完全不依赖__name__，而是将您的Python代码定义为具有main()函数的模块，然后调用该函数：

use cpython::{Python, PyModule};

fn main() {
    let gil = Python::acquire_gil();
    let py = gil.python();
    let module = PyModule::new(py, "bob").unwrap();
    py.run(r#"
import sys
from multiprocessing import Process

def f(name):
    print('hello', name)

def main():
    print('start')
    sys.argv=['']
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()
    "#, Some(&module.dict(py)), None).unwrap();
    module.call(py, "main", cpython::NoArgs, None).unwrap();
}