如何保持网络爬虫运行？

Question

我想用 JS 编写自己的网络爬虫。我正在考虑使用 node.js 解决方案，例如 https://www.npmjs.com/package/js-crawler

目标是每 10 分钟进行一次“抓取” - 所以我希望我的抓取工具每 10 分钟从网站获取数据。

我知道我可以写一个无限循环，例如：

var keeRunning = true;
while (keepRunning) {
  // fetch data and process it every 10 minutes
}

如果我的电脑一直开着而且我在网站上，这可能会非常好。

但是，如果我关闭计算机，我可以想象它将不再工作。那么我应该考虑什么样的解决方案来保持脚本一直运行，即使在计算机关闭时也是如此？

Answer 1

使用CronJobber 安排何时运行您的脚本（每 x 分钟或在设定的时间等）并将您的应用部署到某个地方，以便将其在线托管在 服务器 永远不会关闭。有很多这样的解决方案，您可以免费托管您的节点服务器

• C9
• Heroku
• Nodejitsu