python的作业队列实现答案

【问题标题】：job queue implementation for pythonpython的作业队列实现
【发布时间】：2009-08-26 18:01:08
【问题描述】：

您知道/使用任何用于 python 的分布式作业队列吗？你能分享链接或工具吗

【问题讨论】：

【解决方案1】：

Pyres 是一个用 python 构建的 resque 克隆。 Resque 被 Github 用作他们的消息队列。两者都使用 Redis 作为队列后端，并提供基于 Web 的监控应用程序。

【讨论】：

【解决方案2】：

如果您使用的是 Django，除了多处理之外，还有 Celery 项目。

【讨论】：

感谢您的链接？它是否严格与 django 一起使用？我们可以将它用于标准的 Python 项目吗？
我不明白为什么不进行适当的调整（不确定会做多少工作 - 取决于您的确切要求）。
Celery 有一个名为 Carrot 的底层库，您可以在没有 Django 的情况下使用它。
Celery 和 Carrot 都可以在没有 Django 的情况下工作。或者，您可以在 Django 项目之外使用它。最近有人甚至实现了粘贴支持：bitbucket.org/twillis/celery-paste
Celery 现在设计可在 Django 之外使用（但如果您需要，仍然支持 Django）

【解决方案3】：

还有 Sylvain Hellegouarch 的“bucker”，您可以在这里找到：

它是这样描述自己的：

bucker 是一个队列系统，它支持队列的多个存储（memcached，目前是 Amazon SQS），并由通过客户端和队列服务器之间的 TCP 连接发送的 XML 消息驱动。

【讨论】：

【解决方案4】：

看beanstalkd

【讨论】：

【解决方案5】：

红队？它在 python+tornado 框架中实现，使用 memcached 协议，并且可以选择持久化到日志文件中。目前它也能够像 beanstalkd 一样，memcache 协议中的保留/删除方式。

【讨论】：

【解决方案6】：

如果你认为 Celery 对你的需求来说太重了，那么你可能想看看简单的分布式任务队列：

【讨论】：

【解决方案7】：

这已经晚了一年或其他什么，但这是我一起破解的东西，以使进程队列一次只执行 X 个。 http://github.com/goosemo/job_queue

【讨论】：

【解决方案8】：

您可能想查看多处理的队列。包含在 Python 2.6 中，可在 PyPI 上获取早期版本的 Python。

【讨论】：

【解决方案9】：

还有 Unix 'at'

更多信息：男人在

【讨论】：