从大小> x的网站获取图像的快速方法

Question

我正在尝试构建一种机制，该机制将扫描给定 URL 的网站并获取所有图像。目前我正在使用 slow 的 simple_html_dom。

从localhost 扫描网站大约需要 30 到 1 分钟。

我需要做的是：

1. 加载网址。
2. 扫描图像（如果可能具有特定大小 x > 宽度）
3. 打印出来。

我正在寻找最快的方法。

Answer 1

没有最快的方法。 您无法减少网络延迟。 您无法避免获取图像以检测其大小。 其余的操作已经是流程中可以忽略不计的一部分。

Answer 2

另一个答案过于简单，因为您可以通过在下载之前向服务器发送HEAD 请求以获取图像大小来降低整体网络吞吐量——立即为大小

根据所涉及页面的大小，用于提取图像 URL 的字符串操作的选择也很重要。 PHP 完全可以满足它所满足的需求，但归根结底，它仍然是一种速度适中的解释性语言，而且我发现涉及移动大型子字符串的调用例程有时会明显滞后。在这种情况下，完全解析它，即使使用一个简单的库，也是多余的。

我会竭尽全力只下载最少量的图像的原因是 一些 PHP 这样做的方法非常慢。如果我使用 copy() 下载文件，然后使用原始套接字或 cURL 执行相同的操作，copy() 有时至少需要两倍的时间。

所以传输方式的选择和解析方式的选择都有明显的效果。