我有几个 API 作为数据源，例如 - 博客文章。我想要实现的是从 Django 视图并行向这个 API 发送请求并获得结果。无需将结果存储在数据库中，我需要将它们传递给我的视图响应。我的项目是在 python 2.7 上编写的，所以我不能使用 asyncio。我正在寻找有关解决它的最佳实践的建议（芹菜，龙卷风，其他什么？）以及如何实现这一目标的示例，因为我只是以异步方式开始我的方式。谢谢。
【问题讨论】：
标签： django python-2.7 asynchronous celery tornado
我从futures lib 找到了使用 concurrent.futures ThreadPoolExecutor 的解决方案。
import concurrent.futures
import urllib.request
URLS = ['http://www.foxnews.com/',
'http://www.cnn.com/',
'http://europe.wsj.com/',
'http://www.bbc.co.uk/',
'http://some-made-up-domain.com/']
# Retrieve a single page and report the URL and contents
def load_url(url, timeout):
with urllib.request.urlopen(url, timeout=timeout) as conn:
return conn.read()
# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
# Start the load operations and mark each future with its URL
future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
for future in concurrent.futures.as_completed(future_to_url):
url = future_to_url[future]
try:
data = future.result()
except Exception as exc:
print('%r generated an exception: %s' % (url, exc))
else:
print('%r page is %d bytes' % (url, len(data)))
您也可以查看rest of the concurrent.futures doc。
重要！ ProcessPoolExecutor 类在 Python 2 上存在已知（无法修复的）问题，因此不应依赖于关键任务工作。
【讨论】：
一种解决方案是使用 Celery 并将您的请求参数传递给它，然后在前面使用 AJAX。
例子：
def my_def (request):
do_something_in_celery.delay()
return Response(something)
要控制 Celery 中的任务是否完成，可以将 Celery 的返回值放在一个变量中：
task_run = do_something_in_celery.delay()
在 task_run 中有一个属性 .id。 这个.id你回到你的前面，用它来监控任务的状态。
并且你在 Celery 中执行的函数必须有 de decorator @task
@task
do_something_in_celery(*args, **kwargs):
您将需要控制任务，例如 Redis 或 RabbitMQ。
看看这个网址：
http://masnun.com/2014/08/02/django-celery-easy-async-task-processing.html
【讨论】：