等到所有任务都在 Celery python 中运行

Question

我在 python 中使用 celery 来执行异步任务。在分配给所有工作人员的所有任务完成后，我想捕获它的结果。

为此，我使用 .get() 方法，但 get() 的问题是所有任务都被分配给一个同步的工作人员，但我想要这些任务分发给所有可用的工人。

下面是我的sn-p。

for url in urls:
    res = good_bad_urls.delay(url[1])
    res.get()
return JsonResponse(some_data)

celery 中还有其他方法可以等到所有任务异步运行吗？

Answer 1

但是 get() 的问题是所有任务都被分配给一个同步的工作人员

嗯，不完全是。任务分配的工作方式完全相同（即使它似乎可以这样做），并且任务本身仍然是异步的。不同之处在于 result.get() 是一个阻塞调用 - 所以在你的情况下，它会等待当前任务完成，直到它启动下一个任务。

但无论如何：这里的解决方案是use a Group。在你的情况下，它应该看起来像

jobs = group([good_bad_urls.s(url[1]) for url in urls])
async_res = jobs.apply_async()  
result = async_res.get()

get() 调用现在将等待所有任务完成，但它们将并行启动。