超时作业挂起 15 或 30 分钟，然后运行答案

【问题标题】：Timed out job hangs for 15 or 30 minutes and then runs超时作业挂起 15 或 30 分钟，然后运行
【发布时间】：2023-03-12 04:37:01
【问题描述】：

地平线版本：3.7.2 / 3.4.7
Laravel 版本：6.17.0
PHP 版本：7.4.4
Redis 驱动和版本：predis 1.1.1 / phpredis 5.2.1
数据库驱动程序和版本：-

我们的 Horizon 出现了奇怪的错误。基本上是这样的： - 作业排队。并开始处理。

90 秒后（我们的超时配置值）超时。
在 120 秒（我们的 retry_after 值）后重试作业。
重试作业成功。
15 分钟或 30 分钟后，原始作业（超时）完成。运行实际作业。

似乎任何工作都可能发生这种情况。例如，如果它是排队的可邮寄邮件，则用户首先收到一封电子邮件，然后在 15 或 30 分钟后用户收到另一封电子邮件。一样的。

这里是我们的配置文件

config/database.php:

'redis' => [
        'client' => env('REDIS_CLIENT', 'predis'),
        'default' => [
            'host' => env('REDIS_HOST', '127.0.0.1'),
            'password' => env('REDIS_PASSWORD', null),
            'port' => env('REDIS_PORT', 6379),
            'database' => 0,
        ],
    ],

config/queue.php:

'redis' => [
    'driver' => 'redis',
    'connection' => 'default',
    'queue' => env('DEFAULT_QUEUE_NAME', 'default'),
    'retry_after' => 120, // 2 minutes
    'block_for' => null,
],

config/horizon.php:

'environments' => [
    'production' => [
        'supervisor-1' => [
            'connection' => env('HORIZON_CONNECTION', 'redis'),
            'queue' => [env('DEFAULT_QUEUE_NAME', 'default')],
            'balance' => 'simple',
            'processes' => 10,
            'tries' => 3,
            'timeout' => 90,
        ],
    ],
]

这是 Horizon Dashboard 中的外观

当初始作业超时时。在重试工作时，它在Recent Jobs 中保持这种状态。

差不多半小时后变成这样：

都是同一个标签，我只是把名字涂黑了。

这是我们看到的日志（这里的时间是 UTC）

[2020-04-22 11:24:59][88] Processing: App\Mail\ReservationInformation

[2020-04-22 11:29:00][88] Failed: App\Mail\ReservationInformation

[2020-04-22 11:29:00][88] Processing: App\Mail\ReservationInformation

[2020-04-22 11:56:21][88] Processed: App\Mail\ReservationInformation

注意：使用 Predis，我们还可以看到一些日志，例如 Error while reading line from the server. [tcp://REDIS_HOST:6379]，但使用 PHPRedis 则没有。

我们尝试了很多不同的组合来消除这个问题。它发生在每一个组合中。所以我们认为这一定与 Horizon 有关系。

我们尝试过： - Predis 与 Redis 5 和 Redis 3

具有不同 read_write_timeout 值的 Predis
PHPRedis 与 Redis 5 和 Redis 3
在一台服务器上启用了 THP。因此，我们还尝试了与禁用 THP 的服务器的所有组合。
我们使用 Laravel 6.11 和 Horizon 3.4.7，然后升级到 Laravel 6.14 和 Horizon 3.7.2

只有一个 Horizon 实例正在运行。此 Horizon 实例中不处理任何其他队列。

欢迎任何信息或提示尝试！

【问题讨论】：

标签： php laravel redis queue laravel-horizon

【解决方案1】：

对我们来说，这是我们系统中的配置错误。我们使用的是 OpenShift 和 Docker。我们在容器/系统中调整了这些值

net.ipv4.tcp_keepalive_intvl
net.ipv4.tcp_keepalive_probes
net.ipv4.tcp_keepalive_time

目前一切正常。

【讨论】：