【问题标题】:How do I make multiple celery workers run the same tasks?如何让多个芹菜工人运行相同的任务?
【发布时间】:2012-05-17 12:27:07
【问题描述】:

我有一项任务是检查 url 速度,但我希望它由不同服务器中的多个 celery worker 执行。我希望多个工作人员检查相同的 url。

我该怎么做?

【问题讨论】:

    标签: python django rabbitmq celery amqp


    【解决方案1】:

    如果你可以设置 ignore_result=True 。试试Broadcast

    如果不能,请检查 Routing Tasks 并将任务多次发送到不同的队列,例如不同的 IDC 和相应的工作人员。

    【讨论】:

    • 我想过将相同的任务发送到多个队列(每个工作人员一个),但这似乎不是一个真正聪明的解决方案。我要看看广播是否适合我。
    • @gawry 没关系。只是好奇你如何收集速度数据到页面。
    • 我现在正在以一种非常幼稚的方式进行操作(但我希望以后会改进它) - 我只是在调用 url 之前添加一个 start_date = datetime.now() 并在调用之后添加一个 end_date网址
    猜你喜欢
    • 2020-10-07
    • 2021-10-24
    • 2015-09-21
    • 1970-01-01
    • 1970-01-01
    • 2022-11-01
    • 2021-07-07
    • 2017-09-30
    • 1970-01-01
    相关资源
    最近更新 更多