Guzzle：使用 Guzzle 的 Pool:batch() 和 `sink` 选项进行并行文件下载

Question

您可以使用 Guzzle 的 Pool:batch() 方法并行执行 http 请求。它允许您使用第三个参数中的options 键为请求设置默认选项。

但是，如果我需要针对池中的不同请求使用不同的选项怎么办？我想使用池执行 GET 请求并将每个响应流式传输到磁盘上的不同文件。有一个sink 选项。但是如何将此选项的不同值应用于请求？

Answer 1

Rastor's example几乎是正确的，但是如果您想为Pool() 构造函数提供“选项”，如果执行不正确。

他缺少提到的池选项数组的关键实现here。

Guzzle 文档说：

当迭代器产生一个函数时，该函数被提供 应该合并在任何顶部的“request_options”数组 现有选项，然后该函数必须返回一个可等待 承诺。

此外，如果您查看我链接到的评论下方的 Pool() 代码，您会看到 Guzzle 的 Pool 调用了可调用对象并将 Pool 的“选项”作为参数提供给它，这样您就应该应用根据您的要求。

正确的优先级是

每个请求的选项 > 池选项 > 客户端默认值。

如果您不将Pool() 对象的选项数组应用于您的请求对象，您最终会遇到严重的错误，例如如果您尝试创建new Pool($client, $requests(100), ['options'=>['timeout'=>30.0]]);。如果没有我更正的代码，您的 Pool-options 将根本不会应用，因为 您 不支持正确合并 pool options，因此最终放弃了它们。

所以这里是支持Pool()选项的正确代码：

<?php

$client = new \GuzzleHttp\Client();

$requests = function ($total) use ($client) {
    for ($i = 0; $i < $total; $i++) {
        $url = "domain.com/picture/{$i}.jpg";
        $filepath = "/tmp/{$i}.jpg";

        yield function($poolOpts) use ($client, $url, $filepath) {
            /** Apply options as follows:
             * Client() defaults are given the lowest priority
             * (they're used for any values you don't specify on
             * the request or the pool). The Pool() "options"
             * override the Client defaults. And the per-request
             * options ($reqOpts) override everything (both the
             * Pool and the Client defaults).
             * In short: Per-Request > Pool Defaults > Client Defaults.
             */
            $reqOpts = [
                'sink' => $filepath
            ];
            if (is_array($poolOpts) && count($poolOpts) > 0) {
                $reqOpts = array_merge($poolOpts, $reqOpts); // req > pool
            }

            return $client->getAsync($url, $reqOpts);
        };
    }
};

$pool = new Pool($client, $requests(100));

但是请注意，您不必支持Pool() 选项，如果您知道您永远不会向new Pool() 构造函数添加任何选项。在这种情况下，您可以查看the official Guzzle docs 的示例。

官方示例如下：

// Using a closure that will return a promise once the pool calls the closure.
$client = new Client();

$requests = function ($total) use ($client) {
    $uri = '127.0.0.1:8126/guzzle-server/perf';
    for ($i = 0; $i < $total; $i++) {
        yield function() use ($client, $uri) {
            return $client->getAsync($uri);
        };
    }
};

$pool = new Pool($client, $requests(100));

Answer 2

对于大嘴 6

$client = new \GuzzleHttp\Client();

$requests = function ($total) use ($client) {
    for ($i = 0; $i < $total; $i++) {
        $url = "http://domain.com/picture/{$i}.jpg";
        $filepath = "/tmp/{$i}.jpg";

        yield function() use ($client, $url, $filepath) {
            return $client->getAsync($url, [
                'sink' => $filepath
            ]);
        };
    }
};

$pool = new Pool($client, $requests(100));

Answer 3

您可以在请求中单独指定您想要的$options。如果您将其传递给客户端，它将仅适用于所有请求。这是 Guzzle 6 文档的摘录：

创建客户端时，可以将标头添加为默认选项。什么时候 标头用作默认选项，它们仅适用于 正在创建的请求尚未包含特定的标头。 这包括在 send() 中传递给客户端的请求和 客户端创建的 sendAsync() 方法和请求（例如， request() 和 requestAsync())。

见http://guzzle.readthedocs.org/en/latest/request-options.html?highlight=default#headers