使用 PHP Curl 库的持久/保持活动 HTTP？

Question

我正在使用一个简单的 PHP 库通过 HTTP 将文档添加到 SOLR 索引。

目前涉及3台服务器：

1. 运行索引作业的 PHP 框
2. 保存被索引数据的数据库框
3. solr 盒子。

在 80 个文档/秒（100 万个文档中）时，我注意到 PHP 和 solr 盒上的网络接口的中断率异常高（2000/秒；此外，图表几乎相同——当 PHP 盒上的中断率达到峰值时，Solr 盒上的中断率也会达到峰值），但数据库盒上的中断率要低得多（300/秒）。我想这仅仅是因为我打开并重用了与数据库服务器的单个连接，但由于 Solr 客户端库的编写方式，每个 Solr 请求当前都通过 cURL 打开一个新的 HTTP 连接。

所以，我的问题是：

1. 可以使用 cURL 来打开 keepalive 会话吗？
2. 如何重用连接？ -- 是否像重用 cURL 句柄资源一样简单？
3. 是否需要设置任何特殊的 cURL 选项？ （例如强制 HTTP 1.1？）
4. cURL keepalive 连接是否存在任何问题？该脚本一次运行数小时；我可以使用单一连接，还是需要定期重新连接？

Answer 1

如果您不关心请求的响应，您可以异步执行它们，但您会冒着使 SOLR 索引过载的风险。不过我对此表示怀疑，SOLR 非常快。

Asynchronous PHP calls?

Answer 2

cURL PHP 文档 (curl_setopt) 说：

CURLOPT_FORBID_REUSE - TRUE 强制 显式关闭的连接 当它完成处理时，以及 不会被汇集以供重复使用。

所以：

1. 是的，实际上它应该默认重用连接，只要您重用 cURL 句柄。
2. 默认情况下，cURL 自己处理持久连接；如果您需要一些特殊的标头，请检查 CURLOPT_HTTPHEADER
3. 服务器可能会发送一个保持活动超时（默认 Apache 安装，它是 15 秒或 100 个请求，以先到者为准） - 但当这种情况发生时，cURL 只会打开另一个连接。

Answer 3

1. 在您访问的服务器上必须启用保活，并且最大保活请求应该是合理的。如果是 Apache，请参阅apache docs。

2. 您必须重复使用相同的 cURL 上下文。

3. 在配置 cURL 上下文时，在 header 中启用 keep-alive with timeout：

   curl_setopt($curlHandle, CURLOPT_HTTPHEADER, array(
       'Connection: Keep-Alive',
       'Keep-Alive: 300'
   ));
   

Answer 4

Curl 默认发送 keep-alive 头，但是：

1. 使用不带任何参数的curl_init() 创建上下文。
2. 将上下文存储在可以继续存在的范围内（不是本地变量）
3. 使用CURLOPT_URL 选项将url 传递给上下文
4. 使用curl_exec()执行请求
5. 不要关闭与curl_close()的连接

非常基本的例子：

function get($url) {
    global $context;
    curl_setopt($context, CURLOPT_URL, $url);
    return curl_exec($context);
}

$context = curl_init();
//multiple calls to get() here
curl_close($context);