你能在 Django 中执行多线程任务吗？

Question

我想要完成的序列：

1. 用户单击网页上的按钮
2. model.py 中的一些函数开始运行。例如，通过爬网收集一些数据
3. 函数完成后，将结果返回给用户。

我应该在 model.py 中打开一个新线程来执行我的函数吗？如果是这样，我该怎么做？

Answer 1

如this answer 所示，您可以使用线程包来执行异步任务。似乎每个人都推荐 Celery，但对于执行简单但长时间运行的任务来说，它通常是矫枉过正的。我认为使用线程实际上更容易、更透明。

这是一个简单的异步爬虫示例：

#views.py
import threading
from .models import Crawl

def startCrawl(request):
    task = Crawl()
    task.save()
    t = threading.Thread(target=doCrawl,args=[task.id])
    t.setDaemon(True)
    t.start()
    return JsonResponse({'id':task.id})

def checkCrawl(request,id):
    task = Crawl.objects.get(pk=id)
    return JsonResponse({'is_done':task.is_done, result:task.result})

def doCrawl(id):
    task = Crawl.objects.get(pk=id)
    # Do crawling, etc.

    task.result = result
    task.is_done = True
    task.save()

您的前端可以向startCrawl 发出请求以开始抓取，它可以发出Ajax 请求以使用checkCrawl 对其进行检查，这将在完成时返回true 和结果。

---

Python3 更新：

threading 库的The documentation 建议将daemon 属性作为关键字参数传递，而不是使用setter：

t = threading.Thread(target=doCrawl,args=[task.id],daemon=True)
t.start()

---

Python

As discussed here、this bug 会导致缓慢的内存泄漏，从而导致长时间运行的服务器溢出。该错误已针对 Python 3.7 及更高版本进行了修复。

Answer 2

1. 是的，它可以多线程，但通常使用 Celery 来做等价。 You can read about how in the celery-django tutorial.
2. 您实际上很少想要强迫用户等待网站。虽然这总比冒险超时要好。

这是你所描述的一个例子。

User sends request
Django receives => spawns a thread to do something else.
main thread finishes && other thread finishes 
... (later upon completion of both tasks)
response is sent to user as a package.

更好的方法：

User sends request
Django receives => lets Celery know "hey! do this!"
main thread finishes
response is sent to user
...(later)
user receives balance of transaction 

Answer 3

如果你不想在你的项目中添加一些矫枉过正的框架，你可以简单地使用subprocess.Popen:

def my_command(request):
    command = '/my/command/to/run'  # Can even be 'python manage.py somecommand'
    subprocess.Popen(command, shell=True)
    command = '/other/command/to/run'
    subprocess.Popen(command, shell=True)
    return HttpResponse(status=204)

[edit] 如 cmets 中所述，这不会启动后台任务并立即返回 HttpResponse。它将并行执行这两个命令，然后在两者都完成后返回 HttpResponse。这是 OP 要求的。