【问题标题】:How to open 100000 different websites manually如何手动打开 100000 个不同的网站
【发布时间】:2021-07-23 04:19:00
【问题描述】:

我需要点击来自网站的 100000 个不同的 url 来抓取关于网站的不同数据。数据必须手动提取,因为每个网站的数据不同,而且不遵循模式。

我的问题是,是否有任何程序或脚本可以粘贴 100000 URL,它只是在选项卡/窗口中打开/预加载一些 url,所以当我关闭一个选项卡时,下一个 url 会在新选项卡中打开?这样,我在主网站选项卡中工作,这需要我 10 秒来查看,然后单击 control+w 并转到下一个 url。

这样我可以节省很多时间,而不是手动点击每个链接并等待它加载。

【问题讨论】:

  • 看看phantomjs

标签: web-scraping scrape


【解决方案1】:

您可以使用 Python 网页抓取或 RPA(如果您不了解基本的 Python),并且通过合乎逻辑的步骤,用户可以自动完成 n 个任务。 或者你也可以利用python的'pyautogui library'来点击可视化的东西。

竖起大拇指。如果有帮助...

【讨论】:

    猜你喜欢
    • 2017-08-27
    • 1970-01-01
    • 2011-10-26
    • 1970-01-01
    • 2016-02-19
    • 1970-01-01
    • 2018-12-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多