如何让 node.js webscraper 定期检查端点的数据更新？答案

【问题标题】：How to make a node.js webscraper periodically check an endpoint for data updates?如何让 node.js webscraper 定期检查端点的数据更新？
【发布时间】：2020-10-21 17:55:32
【问题描述】：

我正在编写一个从第三方 API 聚合数据的不和谐机器人。

discord.js 有一个设计模式，我想为我的网络抓取功能遵循它，其中一个实例化客户端对象，并在客户端发出特定事件时执行操作，like so:

const Discord = require('discord.js');
const client = new Discord.Client();

client.on('ready', () => {
  console.log(`Logged in as ${client.user.tag}!`);
});

client.on('message', msg => {
  if (msg.content === 'ping') {
    msg.reply('Pong!');
  }
});

client.login('token');

据我了解，此代码将无限期运行，每次发出特定事件时执行操作，例如ready 或 message。

我不知道这些功能是如何实现的。更具体地说，我无法弄清楚 discord client 对象如何不断地寻找变化，并在注意到它们时发出一个事件。

我想模拟这种设计模式的原因是我可以运行一个 node.js 应用程序，它会每隔 10 分钟访问 API 并查看是否有新信息，并将其记录到数据库中当有变化时。

我最初的想法是这样的，但它会因内存不足错误而炸毁调用堆栈。

const events = require("events");

class ScrapeEmitter extends events.EventEmitter {}
const scrapeEmitter = new ScrapeEmitter();

scrapeEmitter.on("timeExpired", () => console.log("call scraping code here"));

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

最终目标是从 index.js 编写以下内容，并让它既监听不和谐事件，又抓取数据。

import * as scraper from "./core/scraper";
const Discord = require('discord.js');
const client = new Discord.Client();

client.on('ready', () => {
  console.log(`Logged in as ${client.user.tag}!`);
});

client.on('message', msg => {
  if (msg.content === 'ping') {
    msg.reply('Pong!');
  }
});

client.login('token');
scraper.begin_scraping();

【问题讨论】：

您可以使用setInterval 代替setTimeout 并离开while 循环。
我认为它应该是这样工作的，谢谢！

标签： javascript node.js events web-scraping emit

【解决方案1】：

这部分代码

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

创建无限量的超时。您需要做的是仅在前一个超时完成后才开始超时。一个例子是：

function loop() {
setTimeout(loop, 1500);
}

这会在 1500 秒后调用该函数，而后者又会在 1500 秒后调用该函数，以此类推。

但是，更好的解决方案是使用setInterval()。它看起来像这样：

function loop() {};
setInterval(loop, 1500);

所以，不要写

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

写

setInterval(() => scrapeEmitter.emit("timeExpired"), 1500);

这消除了无限循环并按预期运行。

我只是将@Worthy Alpaca 的回答翻译成评论。这是一个社区 wiki，所以我没有声誉

【讨论】：