Python - 如何使用池映射传递多个参数 [重复]

Question

这是我的代码片段：

data = [currentAccount.login,currentAccount.password,campaign.titlesFile,campaign.licLocFile,campaign.subCity,campaign.bodiesMainFile,campaign.bodiesKeywordsFile,campaign.bodiesIntroFile]
results = multiprocessing.Pool(5).map(partial(self.postAd,data),range(3))
...
def postAd (self,login,password,titlesFile,licLocFile,subCity,bodiesMainFile,bodiesKeywordsFile,bodiesIntroFile):
...

（让您知道发生了什么：currentAccount 和campaign 是类，它们是这些类中的变量。使用self b/c 这一切都在一个类中运行。我正在尝试运行self.postAd 3x 传递它是我在数据中的所有变量）

当我运行它时，它显示“postAd() 缺少 6 个必需的位置参数：'titlesFile'、'licLocFile'、'subCity'、'bodiesMainFile'、'bodiesKeywordsFile' 和 'bodiesIntroFile'”

我做错了什么？为什么它只接受 2 个变量？

如果我不能使用 Pool map，我应该怎么做？

我也试过了，但没有成功：

results = multiprocessing.Pool(5).map(lambda args: self.postAd(currentAccount.login,currentAccount.password,campaign.titlesFile,campaign.licLocFile,campaign.subCity,campaign.bodiesMainFile,campaign.bodiesKeywordsFile,campaign.bodiesIntroFile), range(3))

Error: Can't pickle <function NewPostService.processNewAds.<locals>.<lambda> at 0x0000000002F3CBF8>: attribute lookup <lambda> on functions failed

Answer 1

您的第一次尝试是滥用partial。 data 是一个参数：它是一个列表并不会自动解包其内容。 partial 只接受可变参数，因此您应该“正常”传递这些参数，要么

partial(self.postAd, currentAccount.login,currentAccount.password, ...

或

partial(self.postAd, *data)

它说postAd 收到两个参数而不是一个 (data) 的原因是它还隐式收到了 self 参数。

您的第二次尝试是正确的想法并且非常接近，但碰巧in older versions of python pickle (which is essential for multiprocessing) can't handle lambdas。将 lambda 替换为使用 def 定义的命名函数：

def postNow(arg):  # Accepts an argument from map which it ignores
    self.postAd(currentAccount.login, ..., campaign.bodiesIntroFile)

旁注：

当它只是一个参数时，你的 lambda 参数被称为 args 有点奇怪。如果您的意图是使其灵活并接受可变参数，请使用lambda *args: ... 甚至lambda *args, **kwargs: ... 来接受关键字参数。名称并不重要，它们只是约定俗成的。重要的部分是* 和**。请注意，partial 具有这样的签名，例如。

我以前从未在第二次尝试时遇到过这个问题。我是通过谷歌搜索错误消息了解到的。始终使用 Google 搜索。