【问题标题】:Web scraping constantly updating data in Python网络抓取不断更新 Python 中的数据
【发布时间】:2019-04-26 03:42:42
【问题描述】:

我正在尝试制作这个小程序来抓取社交刀片网站https://socialblade.com/youtube/user/pewdiepie/realtime 以获取子计数。 网站上的数据不断更新,我将如何进行这项工作,以便我每秒左右获得订阅者的数量?

【问题讨论】:

    标签: python python-3.x web beautifulsoup screen-scraping


    【解决方案1】:

    您可以在循环中运行您的代码,然后在调用之间休眠。

    import time
    
    while some_true_condition:
        scrape()
        time.sleep(10)
    

    10 指的是 10 秒,这是一种更合理的方法。如果您每秒查询一次,您可能会被禁止。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-03-29
      • 1970-01-01
      • 2017-09-22
      • 1970-01-01
      • 2014-12-15
      • 2017-11-09
      • 2018-06-26
      • 2022-11-24
      相关资源
      最近更新 更多