带有 Laravel 和 Goutte 的刮刀 [关闭]答案

【问题标题】：scraper with Laravel and Goutte [closed]带有 Laravel 和 Goutte 的刮刀 [关闭]
【发布时间】：2018-04-10 14:54:30
【问题描述】：

我将使用 Laravel 和 Goutte 访问 scraper 4 网站。

url 的数量是 900，我不知道如何发送 url

（我写了爬虫代码，对此没有任何疑问）

但我不知道如何发送网址？我必须使用 queue 或 cronJob 还是 ...？

你认识任何包或工具或想法吗？我不知道要发送 900 个网址，一天 5 次

【问题讨论】：

【解决方案1】：

如果您为网站编写抓取代码，您可以将链接分开并存储为 CSV 格式的文件。您应该编写另一个脚本，以便在 CSV 文件中读取这些 url 的确切数量并将其发回给您。在 Ruby 中使用 open.csv 库非常容易。

【讨论】：