使用 self.methods 进行多处理

Question

在方法上使用 multiprocessing 会收到错误声明 self.methods cannot be pickled。

为了克服这个问题，我使用了：

def _pickle_method(m):
    if m.im_self is None:
        return getattr, (m.im_class, m.im_func.func_name)
    else:
        return getattr, (m.im_self, m.im_func.func_name)


copy_reg.pickle(types.MethodType, _pickle_method)

现在我搜索了这个，但仍有几个问题不清楚：

1. 为什么self.methods不能腌制？
2. copy_reg.pickle() 是如何工作的？它如何启用self.methods 的酸洗？
3. 使用这种方法是否有负面影响，或者还有其他更好的方法吗？

更多信息：

我在一个类中有一个函数，该函数用于执行 request.get 和 request.post。为了提高时间，我在它上面使用了多处理。 这正是我面临的问题。

SO Question

Answer 1

您的预期用途仍然有点模糊，因此我将在您的问题的新“更多信息”部分中展示一种解决 linked question 的方法，该方法不需要酸洗类的字节码方法。我认为它是如何做到的很明显......

someclass.py

import multiprocessing

def call_method(x):
    return SomeClass().f(x)

class SomeClass(object):
    def __init__(self):
        pass

    def f(self, x):
        return x*x

    def go(self):
        pool = multiprocessing.Pool(processes=4)
        print pool.map(call_method,  range(10))

test.py

import someclass

if __name__== '__main__' :
    sc = someclass.SomeClass()
    sc.go()

输出：

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]