PHP中的海量图像下载脚本

Question

我需要一个 .php 脚本，它可以从另一个站点下载大量图像。图像是拇指 - 每个都有大约 20KB 大小。 我已经编写了自己的脚本，但遗憾的是它只是落后于我的服务器并且几乎杀死它，迫使我重新启动它。

每次执行大约有 100 张或更多图片，.jpg 文件，~20KB / 文件。

我的脚本：

$count = 0;
foreach ($files as $file) {
$count++;
$url = $file;
$dl_place = '/home/lulz/'.$count.'.jpg';

$ch = curl_init($dl);
$fp = fopen($path, 'wb');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_exec($ch);
curl_close($ch);
fclose($fp);
}

如你所见，我正在使用 curl，但如果它比现在更好，我愿意使用任何东西。

Answer 1

很可能是设置所有这些请求所需的时间变慢了。您应该考虑Parallel cURL 一次下载多个。源码：https://github.com/petewarden/ParallelCurl/blob/master/parallelcurl.php

$pc->startRequest('http://www.whatever.com/someimage.jpg', 'your_callback_function');

我还发现使用库，您可以在回调中使用匿名函数而不是函数的名称。例如，我用它来调用另一个带有 ID 号的函数。

$requestid=37;
$pc->startRequest(
    $url, 
    function($content, $url, $ch, $search) use $requestid {
        yourRealCallback($content, $url, $ch, $search, $requestid);
    }
);

这利用了一个带有闭包的匿名函数，因此如果您正在搜索 URL 数据库，您可以获得结果 ID（您在 for 循环或其他内容中指定...这里硬编码为“37”以进行演示)。