运行 Anaconda-Scrapy 作为 Cron 作业答案

【问题标题】：Run Anaconda-Scrapy as Cron job运行 Anaconda-Scrapy 作为 Cron 作业
【发布时间】：2017-12-23 14:35:21
【问题描述】：

我正在尝试运行一个scrapy（安装了anaconda2）爬虫作为一个cron作业。到目前为止没有运气。

这里是 cron 命令：

* * * * * sh /home/username/anaconda2/folder/getdata.sh

cron 每 1 分钟运行一次（我检查了日志文件，似乎没问题）这是 sh 文件中的代码：

#!/home/username/anaconda2/bin/python
cd /home/username/anaconda2/crawler_folder
PATH=$PATH:/home/username/anaconda2/bin
export PATH
scrapy crawl spider

sh 代码在终端中按预期执行，但不是作为 cron 作业。你能帮忙吗

【问题讨论】：

您可能需要仔细检查您的 cron 日志，例如在 askubuntu.com/a/121560 之后。也许scrapy 命令在cron 运行时不可用（您可以在.sh 脚本中检查which scrapy）
如果我这样做了，我在哪里可以看到结果？在日志中，它只显示 cron 作业已执行。
你读过那个askubuntu的答案吗？如果您使用* * * * * sh /home/username/anaconda2/folder/getdata.sh >> /home/username/myscript.log 2>&1，您是否看到正在启动爬虫？
/home/username/myscript.log 2>&1??我没有看到这样的文件？我应该在终端中手动运行它吗？

标签： python cron scrapy anaconda centos7

【解决方案1】：

这对我有用，因为 .sh 文件并且 cron 作业没有改变。

#!/home/username/anaconda2/bin/bash
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

【讨论】：