【发布时间】:2021-07-23 04:19:00
【问题描述】:
我需要点击来自网站的 100000 个不同的 url 来抓取关于网站的不同数据。数据必须手动提取,因为每个网站的数据不同,而且不遵循模式。
我的问题是,是否有任何程序或脚本可以粘贴 100000 URL,它只是在选项卡/窗口中打开/预加载一些 url,所以当我关闭一个选项卡时,下一个 url 会在新选项卡中打开?这样,我在主网站选项卡中工作,这需要我 10 秒来查看,然后单击 control+w 并转到下一个 url。
这样我可以节省很多时间,而不是手动点击每个链接并等待它加载。
【问题讨论】:
-
看看phantomjs
标签: web-scraping scrape