【问题标题】:Apache mod_wsgi django enable multi-thread multi-processApache mod_wsgi django 启用多线程多进程
【发布时间】:2018-04-16 08:35:36
【问题描述】:

问题:

  1. 如何知道我的 apache 服务器是否已经在多进程和多线程模式下运行? 因为当我对其进行负载测试时,它给了我相同的结果时间和不同的线程数。我用 25 个线程和 50 个线程运行测试。

  2. 对于多线程/多进程的工作,我需要在 Django 代码中做任何调整吗?

  3. 我必须更改 MPM 配置 (/conf/extra/httpd-mpm.conf) 吗?

以下是我的服务器详细信息和配置:

Server redhat enterprise 6.9
Apache server 2.4.33
Postgre 9.6.6
Python 3.6
Virtualbox RAM 8Gb, 2 Core (4 vCpu).

我的 httpd.conf :

Listen 8000

LoadModule wsgi_module modules/mod_wsgi.so

Include conf/extra/httpd-vhosts.conf

WSGIScriptAlias / /home/applmgr/Harpa/HarpaBackend/harpa/wsgi.py
WSGIPythonHome /home/applmgr/Harpa/pyenv_sl
WSGIPythonPath /home/applmgr/Harpa/HarpaBackend
WSGIPassAuthorization On

<Directory /home/applmgr/Harpa/HarpaBackend/harpa>
<Files wsgi.py>
Require all granted
</Files>
</Directory>

我的 httpd-vhosts.conf :

<VirtualHost *:8000>

    Alias /static /home/applmgr/Harpa/HarpaBackend/static
    <Directory /home/applmgr/Harpa/HarpaBackend/static>
        Require all granted
    </Directory>

    WSGIDaemonProcess harpa python-home=/home/applmgr/Harpa/pyenv_sl processes=15 threads=50 python-path=/home/applmgr/Harpa/HarpaBackend  
    WSGIProcessGroup harpa

    <Directory /home/applmgr/Harpa/HarpaBackend/harpa>
        <Files wsgi.py>
            Require all granted
        </Files>
    </Directory>
</VirtualHost>

ps -ef | grep httpd:

applmgr   2817     1  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2818  2817  0 14:18 ?        00:00:04 /opt/apache_http/bin/httpd -k start
applmgr   2819  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2820  2817  0 14:18 ?        00:00:03 /opt/apache_http/bin/httpd -k start
applmgr   2821  2817  0 14:18 ?        00:00:06 /opt/apache_http/bin/httpd -k start
applmgr   2822  2817  0 14:18 ?        00:00:03 /opt/apache_http/bin/httpd -k start
applmgr   2823  2817 26 14:18 ?        00:34:21 /opt/apache_http/bin/httpd -k start
applmgr   2824  2817  0 14:18 ?        00:00:06 /opt/apache_http/bin/httpd -k start
applmgr   2825  2817 47 14:18 ?        01:01:16 /opt/apache_http/bin/httpd -k start
applmgr   2826  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2827  2817 25 14:18 ?        00:33:00 /opt/apache_http/bin/httpd -k start
applmgr   2828  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2829  2817  0 14:18 ?        00:00:03 /opt/apache_http/bin/httpd -k start
applmgr   2830  2817  0 14:18 ?        00:00:03 /opt/apache_http/bin/httpd -k start
applmgr   2831  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2832  2817  0 14:18 ?        00:00:03 /opt/apache_http/bin/httpd -k start
applmgr   2833  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2834  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   2835  2817  0 14:18 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   3875  2817  0 14:23 ?        00:00:00 /opt/apache_http/bin/httpd -k start
applmgr   4979  2642  0 16:26 pts/1    00:00:00 grep httpd

./apachectl -V :

Server version: Apache/2.4.33 (Unix)
Server built:   Apr  9 2018 16:42:03
Server's Module Magic Number: 20120211:76
Server loaded:  APR 1.6.3, APR-UTIL 1.6.1
Compiled using: APR 1.6.3, APR-UTIL 1.6.1
Architecture:   64-bit
Server MPM:     event
threaded:     yes (fixed thread count)
forked:     yes (variable process count)
Server compiled with....
-D APR_HAS_SENDFILE
-D APR_HAS_MMAP
-D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
-D APR_USE_SYSVSEM_SERIALIZE
-D APR_USE_PTHREAD_SERIALIZE
-D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
-D APR_HAS_OTHER_CHILD
-D AP_HAVE_RELIABLE_PIPED_LOGS
-D DYNAMIC_MODULE_LIMIT=256
-D HTTPD_ROOT="/opt/apache_http"
-D SUEXEC_BIN="/opt/apache_http/bin/suexec"
-D DEFAULT_PIDLOG="logs/httpd.pid"
-D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
-D DEFAULT_ERRORLOG="logs/error_log"
-D AP_TYPES_CONFIG_FILE="conf/mime.types"
-D SERVER_CONFIG_FILE="conf/httpd.conf"

【问题讨论】:

  • 这是非常多的线程和进程,是的,您确实需要为您的设置修改 MPM 集。从阅读这方面的一些文档开始; garron.me/en/blog/apache2-mpm-worker-prefork-php.html
  • 这不仅仅是 MPM 设置,使用这些设置实际上会使事情变得更糟。在 mod_wsgi 中,最好依赖守护程序模式,OP 是什么,以及如何配置进程/线程与 MPM 设置分开。
  • @markwalker_ 谢谢,我会查看该文档。

标签: django multithreading apache mod-wsgi


【解决方案1】:

由于 Python GIL,在 Python 中设置大量线程通常不是一个好主意。在系统过度过载的情况下进行基准测试会更糟,因为它会加剧事情并给出不可靠的结果。我建议不要运行使用超过 40-60% 容量的线程的 Python Web 服务器,因为一旦你提高吞吐量,特别是如果更多的 CPU 受限,那么事情就会迅速走下坡路。发送最大请求的基准测试执行速度非常快,因此毫无意义。

我建议观看以下两个会议讨论视频,其中涉及一些问题。

作为一般经验法则,请执行以下操作:

  • 使用守护程序模式。
  • 使用WSGIRestrictEmbedded On禁用嵌入模式。
  • 每个进程最多使用 5 个线程,除非 I/O 绑定过多。
  • 在线程上使用进程,但也不要被进程冲昏头脑。
  • 跨多台机器扩展。
  • 检测 WSGI 服务器和应用程序,了解它在实际系统中的表现。

要添加指标以监控 mod_wsgi,请参阅:

如果想讨论指标,请使用 mod_wsgi 邮件列表获取最新信息。


更新 1

同时观看:

最后,它讨论了您应该查看和设置的各种设置守护程序模式。另见结尾:

一些推荐的守护进程设置默认值。

【讨论】:

  • 嗨,格雷厄姆,感谢您的回复。如果我将进程设置为 10 并将线程设置为 5 是否合适?我也设置了WSGIRestrictEmbedded On。我的目标并发用户是 200 个用户。我会看看你提供的链接,如果我有另一个问题,请多多包涵。
  • 你需要使用多少进程/线程取决于你有多少并发请求(不是用户)。用户不是一回事。此外,您还需要查看您的响应时间。如果您的所有请求都在 10 毫秒内处理完毕,那么理论上您的最大吞吐量是每秒 5000 个请求,有 10 个进程和 5 个线程,尽管现实意味着您不会得到那么多。因此,处理请求的速度很重要。长时间运行的请求是一个问题。这就是为什么您需要适当的指标来了解您的应用程序在做什么。
  • Graham,如果我设置WSGIRestrictEmbedded On 是否足以确保我的服务器以守护程序模式运行?然后通过在守护进程模式下依赖进程和线程,我需要担心或调整 MPM 吗?
  • 如果您设置WSGIRestrictEmbedded On,如果您没有为应用程序请求正确设置守护程序模式,则会出错。我链接的其中一个视频谈到了 MPM 设置。请求仍然通过 Apache 子工作进程代理,因此在处理静态文件资产的同时必须有足够的容量来代理请求。您还需要设置守护进程配置以防止积压并帮助您的应用在发生过载时恢复。我用另一个视频更新了答案,最后谈到了这个问题。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-07-15
  • 2014-03-02
  • 2013-06-19
  • 2016-08-23
  • 2014-11-09
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多