使用 python 定期自动抓取网页答案

【问题标题】：Scrape Webpages at regular intervals automatically with python使用 python 定期自动抓取网页
【发布时间】：2022-01-04 16:12:10
【问题描述】：

如果价格有任何变化，我如何每月从网站上抓取产品价格并发送电子邮件？有什么方法可以使用 Python 自动执行此操作吗？我应该使用哪些库？

【问题讨论】：

标签： python email web-scraping beautifulsoup

【解决方案1】：

您可以使用 crontab 或气流，并将您的刮板设置为每月运行。

【讨论】：

非常感谢您的回复。你知道根据条件自动发送邮件的部分吗？

【解决方案2】：

您应该使用作业队列来执行此操作，并且以最简单的方式，您可以使用RQ。

from redis import Redis
from rq import Queue
from datetime import timedelta

scrap_queue = Queue(connection=Redis())

def scrap_some_data():
    ... # my scraper code in here
def main():
    scrap_queue.enqueue_in(timedelta(minutes=30), scrap_some_data)
if __name__ == '__main__':
    main()

scrap some data 函数将每 30 分钟调用一次。

【讨论】：

非常感谢。真的很有帮助。