每天自动更新数据库的最佳实践？

Question

我有一个原始来源，来源 A，我从中获取数据。我正在重新格式化和过滤来自 Source A 的数据，并将其存储在 Source B 中。

我使用 Node/Express 创建了一个 REST API，它使用 Source B。

源 A 每天更新一次。我想以相同的速度更新源 B。最好的方法是什么？

目前的想法：

1. 对于我到达服务器的每个 API 调用，在返回数据之前，请检查数据是否在一天内最后一次更新。如果没有，则更新数据并发送。这意味着每天调用一次 API 会非常慢。
2. 执行 Cron 调度

我想知道是否有更多方法可以做到这一点，我想比较不同的方法？我也想知道你们中是否有人在生产中做类似的事情，什么方法有效？

注意：在我的例子中，源 A 是 github 存储库上的 CSV 文件，源 B 是 MongoDB 集合。

Answer 1

您可以在此处实现的最佳情况是在 github CSV 文件更新时自动更新 MongoDB 集合。如果您可以将您的作业执行与触发 CSV 上传的任何事件挂钩，那么您将获得成功。如果您必须通过 github，请查看 github hooks 并查看您是否可以为您的工作负载订阅这些事件之一

顺便说一句，你可以用 mongo 做一个很好的option 3。 Mongo 队列非常适合以精确的时间间隔调度作业。