Django/Python 中的实时数据处理答案

【问题标题】：Realtime data processing in Django/PythonDjango/Python 中的实时数据处理
【发布时间】：2010-12-02 00:42:39
【问题描述】：

我们正在开展一个涉及实时数据处理的项目。我们计划使用 Django/Python。实际过程是：

我们正在研究 RRDTool 和 scikits.timeseries，但它们没有毫秒级的精度，因此无法对齐我们的时间序列。

只是想知道是否有任何工具/数据结构可以与 Django/Python 一起用于这种类型的实时数据处理。线程安全很重要，因为发送结果将在另一个线程中完成。

提前致谢。

【问题讨论】：

【解决方案1】：

您在 python 中的实时 Web 服务选项是：Twisted、Tornado 和 Eventlet

您可以将所有这些集成到 Python/Django 中。 Tutorial on that.

【讨论】：

【解决方案2】：

您可能想查看Tornado，这是一个非阻塞并使用 epoll 的 Web 服务器框架。应该比 Django 等更高级别的框架更适合您的实时要求。

【讨论】：

【解决方案3】：

简短回答：不。Django 不会帮你解决这个问题。

长答案：听起来像是一些直接来自网络服务器的自定义代码的工作。我在想一个直接挂在 wsgi 上的 python 脚本，甚至是一个用 C 编写的 apache 模块！

【讨论】：

【解决方案4】：

您应该考虑查看Celery Project。它可以很好地插入 Django，但不确定它是否对毫秒精度要求敏感。您也可以考虑退出 django 堆栈，将 Brubeck 与 Mongrel2 和 ZeroMQ 一起使用。

【讨论】：