【问题标题】:How to calculate max requests per second of a Django app?如何计算 Django 应用程序每秒的最大请求数?
【发布时间】:2019-09-11 06:25:17
【问题描述】:

我正在部署一个 Django 应用程序,然后我突然发现我无法找到一种方法来预测我的应用程序每秒可以处理多少个请求。

有没有一种方法可以计算 Django 应用程序每秒可以处理多少个请求,而无需借助诸如进行测试部署和使用诸如 locust 之类的外部工具之类的事情?

我知道这涉及到几个因素(例如数据库查询的数量等),但也许有一种方便的方法可以计算甚至估计单个 Django 应用程序实例可以处理多少访问者。

编辑:删除了对 Gunicorn 的提及,因为它只会使我真正想知道的内容更加混乱。

【问题讨论】:

  • 计算最大吞吐量之类的东西肯定非常棘手,最好的办法是运行负载测试并测量经验的最大吞吐量。
  • @mackorone 到目前为止,这似乎是唯一的选择,但也许社区中有人可以想出一个聪明的解决方案 ;-)。

标签: python django deployment concurrency python-requests


【解决方案1】:

有没有办法计算每秒可以有多少请求? Django 应用程序句柄,无需诉诸于执行 测试部署并使用 locust 等外部工具?

不是和是。正如 mackarone 指出的那样,我认为无论如何你都不会避免测量它。考虑您在本地开发服务器上与本地数据库实例进行通信的本地基准测试的情况,以生成用于估计的基准。问题在于硬件、网络(服务之间的距离)都会产生巨大的差异。因此,您在本地生成的任何数字对于容量规划来说都相对毫无价值。

根据我的经验,本地测试非常适合相对更改。考虑您希望查看 sql 查询计划对性能的影响的情况。建立本地基线,进行更改,而不是在本地观察效果有助于衡量相对加速。

如何生成这些数字?

我建议将应用程序部署到您计划测试的硬件和网络上。此部署应使用您的生产配置和组件拓扑(即,如果您要运行 gunicorn,请确保运行 gunicorn 而不是 NGINX,或者如果您要在 gunicorn 前面有一个代理,请确保已设置. 我会使用您的生产配置运行您的应用程序的单个实例。

一旦运行,我将使用任何流行的负载测试工具针对单个实例启动负载测试:

您可以从单台机器启动这些负载测试并增加流量,直到响应时间不再可接受,以便了解并发连接数和应用程序可以容纳的吞吐量。

现在您对单个服务实例能够处理的内容有了一些了解。在您的数据库(或其他共享资源)饱和之前,这些数字可用于预测需要多少服务实例才能处理一定数量的流量!

【讨论】:

  • 谢谢!这似乎是一个相当复杂的话题,谷歌搜索,我找不到任何资源来讨论他们的结果,至少可以了解 Django 应用程序在野外的表现如何......
【解决方案2】:

根据Gunicorn 文档

有多少工人?

不要将工作人员的数量扩展到您期望拥有的客户数量。 Gunicorn 应该只需要 4-12 个工作进程来处理每秒数百或数千个请求

Gunicorn 在处理请求时依靠操作系统来提供所有负载平衡。 通常我们建议 (2 x $num_cores) + 1 作为开始时的工人数量。虽然不是太科学,但该公式是基于这样的假设:对于给定的核心,一个工作人员将在另一个工作人员处理请求时从套接字读取或写入。

显然,您的特定硬件和应用程序会影响最佳工作人员数量。我们的建议是从上述猜测开始,并在应用程序处于负载状态时使用 TTIN 和 TTOU 信号进行调整

永远记住,工人太多了。在某个时间点之后,您的工作进程将开始破坏系统资源,从而降低整个系统的吞吐量。

最好的办法是使用负载测试工具(如您提到的 locust)对其进行调整。

强调我的

【讨论】:

  • 也许我在描述中包含 Gunicorn 是个错误。即使一个 Gunicorn 工作人员非常高效,它归结为您的 Django 应用程序能够多快地响应请求。我想知道我的 Django 应用程序每单位时间能够处理多少个请求...
【解决方案3】:

你必须先安装(loadtest),它是一个npm包, 我正在学习redis,当时我发现了这个,你可以使用它,它对我有用, 更多内容请查看本教程:https://realpython.com/caching-in-django-with-redis/#start-by-measuring-performance

npm install -g loadtest

loadtest -n 100 -k  http://localhost:8000/myUrl/

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-11
    • 1970-01-01
    • 2016-10-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多