【发布时间】:2014-05-20 22:38:53
【问题描述】:
我使用 Scrapy 构建了一个爬虫来爬入网站并提取链接。我希望爬虫每天在特定时间运行。我找到了 python 的sched 来执行调度,但我找不到从哪里开始。任何帮助都会非常有用。
【问题讨论】:
我使用 Scrapy 构建了一个爬虫来爬入网站并提取链接。我希望爬虫每天在特定时间运行。我找到了 python 的sched 来执行调度,但我找不到从哪里开始。任何帮助都会非常有用。
【问题讨论】:
您应该在此处查看操作系统调度程序。在 linux 等平台上,您通常会使用 cronjobs:
http://www.cyberciti.biz/faq/how-do-i-add-jobs-to-cron-under-linux-or-unix-oses/
在 MS Windows 上,您通常会使用 Windows 任务计划程序:
http://windows.microsoft.com/en-au/windows/schedule-task#1TC=windows-7
【讨论】: