ElasticSearch 查询挂在 laravel 作业队列中

Question

我目前正在为我的 ES 查询使用laravel-elasticsearch 提供程序。我在我的 laravel 队列（使用 beanstalkd）处理的作业中使用它。我遇到的问题是，在长时间运行的作业中，最终我不再能够将数据插入到弹性搜索中。工作只是挂起（没有抛出异常）我已将其范围缩小到我正在进行 ES 调用的代码。我的连接是否有可能变得陈旧而不重新连接？我的另一个想法是它与使用 Facade 以及它是单例有关。

这就是我正在做的事情，这不是我的确切代码。但是当它不在长时间运行的作业中运行时，代码工作得很好。我只是想提供一些上下文。它插入得很好，代码运行没有问题，直到它在长时间运行过程之后运行。

更新：

我已将问题缩小到保持连接的 elasticsearch-php 库。我的 ES 位于负载均衡器后面，5 分钟后 TCP 连接超时。问题是 ES php 库中没有保持活动状态。 5 分钟后连接关闭，但它并没有关闭我的连接。有没有办法为elasticsearch-php设置保持活动状态？还是来电重置连接？

//run some functions....
$params = array();
$params['body']  = array('somefield' => 'some data');
$params['index'] = 'my_index';
$params['type']  = 'my_type';
$params['id']    = 'my_id';
$ret = Es::update($params);//this is working just fine

//long running function here
$newparams = array();
$newparams['body']  = array('somefield' => 'some data');
$newparams['index'] = 'my_index';
$newparams['type']  = 'my_type';
$newparams['id']    = 'my_id';
$return = Es::update($newparams);//this will just hang

Answer 1

我最终解决此问题的方法是在创建 ES 客户端时添加以下设置。

'guzzleOptions' => array(
              'curl.options' => [
                  CURLOPT_FORBID_REUSE => true
              ]
          ),

希望这对某人有所帮助。

Answer 2

大家齐聚一堂，让我们谈谈持久的队列过程。

Laravel 队列与工人一起工作。那些无租的精灵从我们的队列服务中获取作业并及时处理它们。

然而，经过长时间的无休止的工作，我们的精灵开始感到疲倦并随机制造错误。错误类型包括失败to send mail using SwiftMailer，处理数据库事务或connect to SSL ports。

我们的精灵需要的是一种能量饮料，形式为queue:restart，每 20 分钟一次。

实施步骤：

1) 如果您使用的是 linux，请输入控制台 sudo crontab -e

2) 使用vim，输入以下行0,20,40 * * * * cd /path/to/my/laravel/installation && php artisan queue:restart --env=yourenvironment 1>> /dev/null 2>&1

将 /path/to/my/laravel/installation 替换为你的 laravel 路径。

yourenvironment 加上你的 laravel 环境名称。

来源：我有一个正常运行时间为一个月的elasticsearch安装，并且laravel使用shift31的包实时轮询和更新数据。

文档：http://laravel.com/docs/5.0/queues#daemon-queue-worker