如何“分解” Meteor 应用程序中长时间运行的服务器端功能？

Question

作为流星应用程序的一部分，我有一个服务器端，它通过对集合的插入/更新获取信息的 POST 消息以提供给 Web 客户端。到目前为止，一切都很好。但是，有时这些更新可能相当大（每 5 秒一次 50K 记录）。在我开始使用批处理插入包，然后使用 Mongo 的低级 batch.find.update() 和 batch.execute() 之前，我很难跟上这一点。

但是，即使有 50K 记录，仍然有大量的处理在进行（它会进行一些计算、分析等）。我希望能够“线程化”该逻辑，以便主事件循环可以继续进行。但是，我不确定是否有一种真正简单的方法可以在 Meteor 中为此创建“真实”线程。因此，我想知道至少“批处理”工作的最佳/正确方法，以便每 N（例如 1K 左右）记录我可以释放事件循环以处理其他事件（例如某些客户端 DDP消息等）。然后再做 1K 记录，等等，直到完成我需要的许多记录。

我认为解决方案在于使用 Fibers/Futures——这似乎是 Meteor 的方式——但我并不肯定这是正确的或像“setTimeout()”和/或“setImmediate( )”更合适。

TIA！

Answer 1

Meteor 不是万能的工具。我认为您应该将流星应用程序与批处理分离。设置一个单独的流星实例，或者更好地设置一个纯 node.js 服务器来处理这些请求和批处理。它看起来像这样：

• 使用 mongodb 插件 (https://www.npmjs.com/package/mongodb) 创建一个连接到同一个 mongo 数据库的 node.js 实例。
• 如果您使用 node.js 处理发布请求 (https://www.npmjs.com/package/express)，请使用 express。
• 在此实例中执行批处理/插入/更新。

mongo 中的更新会很快反映在流星中。我有类似的情况，并使用节点服务器进行一些批量数据收集，然后将其传递到 cassandra 数据库。然后我使用 pig latin 对该数据运行一些批处理操作，然后将其插入 mongo。我的流星应用程序几乎可以立即反应性地显示新数据。

Answer 2

您可以在服务器方法中调用this.unblock() 以允许代码在后台运行，并立即从该方法返回。请参见下面的示例。

Meteor.methods({
  longMethod: function() {
    this.unblock();
    Meteor._sleepForMs(1000 * 60 * 60);
  }
});