我可以在 python 多处理中将方法传递给 apply_async 或 map 吗？

Question

我怎样才能使以下工作？重点是我想异步运行一个方法（而不是函数）。

from multiprocessing import Pool

class Async:
    def __init__(self, pool):
        self.pool = pool
        self.run()

    def run(self):
        p.apply_async(self.f, (10, ))

    def f(self, x):
        print x*x

if __name__ == '__main__':
    p = Pool(5)
    a = Async(p)
    p.close()
    p.join()

这不打印任何内容。

Answer 1

问题似乎是由于multiprocessing 需要腌制self.f 而绑定的方法不可腌制。有一个关于如何解决问题的讨论here。

apply_async 显然创建了一个异常，该异常被放入返回的未来中。这就是为什么没有打印任何内容。如果将来执行get，则会引发异常。

Answer 2

在 python 2 中使用线程池对类方法进行线程化绝对是可能的——下面的程序符合我的预期。

#!/usr/bin/env python

from multiprocessing.pool import ThreadPool

class TestAsync():
  def __init__(self):
    pool = ThreadPool(processes = 2)

    async_completions = []
    for a in range(2):
      async_completions.append(pool.apply_async(self.print_int, (  a,)))

    for completion in async_completions:
      res = completion.get()
      print("res = %d" % res)

  def print_int(self, value):
    print(value)
    return (value*10)


a = TestAsync()