【发布时间】:2020-11-27 18:33:52
【问题描述】:
我有一个 Laravel Spark 项目,它使用 Horizon 通过 Redis 管理作业队列。
在本地(在我的 Homestead 机器上,Mac OS 上)一切正常,但在我们新的 Digital Ocean(Forge 配置)Droplet 上,这是一个内存优化的 256GB、32vCPU、10TB 和 1x 800GB VPS,我保持得到错误:
PDOException: Packets out of order. Expected 0 received 1. Packet size=23
或该错误的某些变体,其中数据包大小信息可能不同。
经过数小时/数天的调试和研究,我在 StackOverflow 和其他地方看到了许多帖子,这似乎表明可以通过做很多事情来解决这个问题,如下所列:
-
在我的 database.php 配置中将
PDO::ATTR_EMULATE_PREPARES设置为 true。这对问题完全没有影响,实际上引入了另一个问题,即整数被转换为字符串。 -
将
DB_HOST设置为127.0.0.1而不是localhost,以便它使用TCP 而不是UNIX 套接字。同样,这没有任何效果。 -
通过登录 MySQL (MariaDB) 并运行
show variables like '%socket%';将DB_SOCKET设置为 MySQL 中列出的套接字路径,该路径将套接字路径列为/run/mysqld/mysqld.sock。我还将DB_HOST设置为localhost。这也没有效果。我确实注意到的一件事是pdo_mysql.default_socket变量设置为/var/run/mysqld/mysqld.sock,我不确定这是否是问题的一部分? -
我已将
/etc/mysql/mariadb.conf.d/50-server.cnf中的 MySQL 配置设置大量增加到以下内容:key_buffer_size = 2048Mmax_allowed_packet = 2048Mmax_connections = 1000thread_concurrency = 100query_cache_size = 256M
我必须承认,更改这些设置是最后的手段/抓住稻草类型的场景。然而,这确实在一定程度上缓解了这个问题,但并没有完全解决它,因为 MySQL 在 99% 的情况下仍然会失败,尽管是在后期。
就队列而言,我总共有 1,136 workers 分成 6 个主管/队列,它们都是通过 Laravel Horizon 处理的,它作为守护进程运行。
我也再次使用 Laravel Websockets PHP 包进行广播,它也作为守护进程运行。
我目前的环境配置如下(敏感信息省略)。
APP_NAME="App Name"
APP_ENV=production
APP_DEBUG=false
APP_KEY=thekey
APP_URL=https://appurl.com
LOG_CHANNEL=single
DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=databse
DB_USERNAME=username
DB_PASSWORD=password
BROADCAST_DRIVER=pusher
CACHE_DRIVER=file
QUEUE_CONNECTION=redis
SESSION_DRIVER=file
SESSION_LIFETIME=120
REDIS_HOST=127.0.0.1
REDIS_PASSWORD=null
REDIS_PORT=6379
MAIL_MAILER=smtp
MAIL_HOST=smtp.gmail.com
MAIL_PORT=587
MAIL_USERNAME=name@email.com
MAIL_PASSWORD=password
MAIL_ENCRYPTION=tls
MAIL_FROM_ADDRESS=name@email.com
MAIL_FROM_NAME="${APP_NAME}"
AWS_ACCESS_KEY_ID=
AWS_SECRET_ACCESS_KEY=
AWS_DEFAULT_REGION="us-east-1"
AWS_BUCKET=
PUSHER_APP_ID=appid
PUSHER_APP_KEY=appkey
PUSHER_APP_SECRET=appsecret
PUSHER_APP_CLUSTER=mt1
MIX_PUSHER_APP_KEY="${PUSHER_APP_KEY}"
MIX_PUSHER_APP_CLUSTER="${PUSHER_APP_CLUSTER}"
AUTHY_SECRET=
CASHIER_CURRENCY=usd
CASHIER_CURRENCY_LOCALE=en
CASHIER_MODEL=App\Models\User
STRIPE_KEY=stripekey
STRIPE_SECRET=stripesecret
# ECHO SERVER
LARAVEL_WEBSOCKETS_PORT=port
服务器设置如下:
- 最大文件上传大小:1024
- 最长执行时间:300
- PHP 版本:7.4
- MariaDB 版本:10.3.22
在 MySQL 服务器崩溃/消失时,我已经检查了所有日志(见下文),并且 MySQL 日志中根本没有任何内容。没有任何错误。我也没有看到任何内容:
/var/log/nginx/error.log/var/log/nginx/access.log/var/log/php7.4-fpm.log
我目前仍在挖掘和调试,但现在,我很难过。这是我第一次遇到这个错误。
这可能是因为访问数据库(读/写)太快了吗?
关于队列如何工作的一些信息。
- 我有一个将作业分派到队列的初始控制器。
- 此作业完成后,它会触发一个事件,然后依次启动运行其他几个侦听器/事件的过程,所有这些都取决于在触发新事件和新侦听器/作业占用工作之前完成的先前作业.
- 总共广播了 30 个事件。
- 总共有 30 位听众。
- 总共有 5 个职位。
这些都根据运行的侦听器/作业和它触发的事件按顺序工作。
我还实时监控了laravel.log,当崩溃发生时,根本没有任何记录。虽然,我偶尔会收到production.ERROR: Failed to connect to Pusher. MySQL 是否崩溃,所以我认为这与这个问题没有任何关系。
我什至注意到 Laravel API 的速率限制已被达到,所以我确保将其从 60 大幅提高到 500。仍然没有乐趣。
最后,哪个事件、作业或侦听器正在运行似乎并不重要,因为错误发生在随机事件上。所以,不确定它是特定于代码的,但很可能是。
希望我已经提供了足够的背景和详细信息来获得一些帮助,但如果我遗漏了什么,请告诉我,我会将其添加到问题中。谢谢。
【问题讨论】:
-
附加信息请求。 MySQL 主机服务器上有任何 SSD 或 NVME 设备吗?在 pastebin.com 上发布并分享链接。从您的 SSH 登录根目录中,文本结果为:B) SHOW GLOBAL STATUS;至少 24 小时正常运行时间后 C) 显示全局变量; D) 显示完整的处理程序; F) 显示 ENGINE INNODB 状态;和 可选的非常有用的信息,如果可用,包括 - htop 或 top 用于大多数活动应用程序,ulimit -a 用于 Linux/Unix 限制列表,iostat -xm 5 3 用于按设备和核心/cpu 计数的 IOPS,用于服务器工作负载调整分析提供建议。
-
嘿@WilsonHauck,感谢您提供的信息。是的,有一个 800GB SSD。以下是您请求的转储:B:pastebin.com/CMiF24Ns C:pastebin.com/kdVX5Rvv D:pastebin.com/JJQQieP1 F:pastebin.com/7ACQmdc9 htop:imgur.com/a/DH5OQqj ulimit:pastebin.com/Z180YAv0iostat:pastebin.com/38RYuUBn 感谢您的关注。跨度>
-
Gareth 显示全局变量;发布的只有最后 ~ 120 行全局变量。 SHOW GLOBAL VARIABLES 通常有 400 多行; iostat 用于单组输出。 iostat -xm 5 3 通常有一个摘要和两个以 5 秒为间隔的循环。 htop 表示 MEM 约为 96M。谢谢
-
嘿 Wilson,这里是 iostat 输出:pastebin.com/jDwXMje6 我不确定如何从 SHOW GLOBAL VARIABLES 中输出所有变量,因为 MySQL 中的命令行似乎截断了它,只显示最后 120 个左右。
-
Gareth 你可以分两步把它们捡起来。显示全局变量,其中 variable_name "l%";并分享 2 个 pastebin.com 链接。谢谢
标签: php mysql laravel sockets pdo