PHPCrawl 有时会空手返回

Question

我正在使用PHPCrawl 类来蜘蛛网站并构建链接列表。这一切都很好，如果速度很慢，然后我会使用这些链接来执行其他任务。

我遇到了一个问题，即我第一次运行脚本时它完成但没有结果，然后在我下次运行它时它按预期工作。大约 30% 的时间都失败了。

起初我以为这是网络或工作站问题，但同样的问题出现在使用不同 ISP 的不同位置的不同机器上。

有其他人使用过这个类并遇到同样的问题吗？

Answer 1

经过大量测试，我发现它似乎与 streamTimeout 设置有关。

这里的问题是，将其设置得太高会导致抓取速度非常慢。修补 connectionTimeout 似乎可以解决这个问题。