在后台运行异步作业（laravel）答案

【问题标题】：Running asynchronous jobs in the background (laravel)在后台运行异步作业（laravel）
【发布时间】：2015-10-06 14:18:00
【问题描述】：

我知道 Laravel 的队列驱动程序，例如 redis 和 beanstalkd，我读到您可以增加 beanstalkd 等的工作人员数量。但是我不确定这些解决方案是否适合我的场景。这就是我需要的；

我通过套接字连接收听 XML 提要，并且数据不断快速传递。永远。我在一秒钟内获得了数十个 XML 文档。

我从这个套接字逐行读取数据，一旦我到达 XML 结束标记，我就会将缓冲区发送到另一个进程进行解析。我过去只是在 base64 中编码 xml，并为每个 xml 运行一个单独的 php 进程。 shell_exec('php parse.php' . $base64XML);

这让我能够非常快速地解析这个永无止境的 xml 数据。一种手动穿线。现在我想在 Laravel 中使用相同的功能，但我想知道是否有更好的方法来做到这一点。我相信 Artisan::call('command') 不会把它推到后台。我当然也可以在 Laravel 中执行 shell_exec，但我想知道我是否可以从 Beanstalkd 或类似的解决方案中受益。

所以真正的问题是：如何为 beanstalkd 或 redis 驱动程序设置队列工作人员的数量？就像我想要同时运行 20 个线程一样。如果可能的话，更多。

一个稍微不那么重要的问题是：多少线程才算太多？如果我有一个非常高端的专用服务器可以很好地处理负载，那么使用这些工具创建 500 个线程/worker 会导致代码级别的任何问题吗？

【问题讨论】：

标签： php multithreading laravel pthreads beanstalkd

【解决方案1】：

laravel 队列就是为此而生的。

基本上，您必须创建一个Job Class。您想要对 xml 文档执行的所有繁重工作都需要在这里。然后，您从套接字中取出您的 xml，一旦您收到一个文档，you push it on your Queue.

稍后，队列工作人员将从队列中取出它，并完成繁重的工作。

这样做的好处是，如果您将文档排队的速度比处理它们的速度快，那么队列将处理高负载时刻并将任务排队以备后用。

我也不建议您在没有队列的情况下执行此操作（像您一样使用叉子）。事实上，如果有太多的文档进来，你会创建太多的子线程并让你的服务器超载。正确记录这些线程是有风险的，当一个具有固定数量工作人员的简单队列开箱即用地解决所有这些问题时，不值得）。

【讨论】：

非常感谢您的帮助，但老实说我真正想知道的是如何设置可以同时运行的worker数。
worker 基本上是一个运行命令 php artisan queue:listen 的 php 实例，如下所述：laravel.com/docs/5.1/queues#running-the-queue-listener 如果只运行一个命令，则有一个 worker，如果运行两个，则有两个worker 等等...我推荐像 Supervisor 或 Foreman 这样的东西来管理你产生的进程。

【解决方案2】：

经过一番研究，我找到了how to set the number of worker processes。我错过了文档中的那部分。傻我。我仍然想知道这个主管工具是否可以处理像我这样的情况的数百名工人。希望有人可以分享他们的经验，但如果不是，我将在本周进行性能测试后更新此答案。

【讨论】：

【解决方案3】：

我根据经验告诉你，shell_exec() 不是在 PHP 中运行异步任务的理想方式。开发时似乎没问题，但如果你有一个小的 vps（1-2 GB ram），你可能会超载你的服务器，当你不在的时候 apache/nginx/sql/某些东西可能会刹车，你的网站可能会关闭几个小时/天.

我推荐 Laravel Queues + Scheduler 来处理这些事情。

【讨论】：