使用大数据收集发布/订阅

Question

我有一个非常大的集合（约 40000 个文档，包含约 20-25 个字段，包括包含约 500 个项目的数组字段）和约 2000 个订阅者（他们现在只是机器人）。

因此，当用户订阅整个集合（不包括服务器发布中的某些字段）并将 Collection.find 与自定义过滤器、排序和顺序一起使用时，客户端的工作真的很辛苦

我尝试使用带有选项的发布：即客户端定义的过滤器等。但在这种情况下，我在服务器上有太多内存泄漏，几个小时后史诗般的失败:)。

任何人都可以为这种集合提供一些发布-订阅模式吗？我不要求明确的解决方案，而是一些有用的想法

谢谢

Answer 1

你可能想试试https://github.com/alethes/meteor-pages

它有：

增量订阅。只下载需要的东西，而不是一次下载整个集合。适用于大型数据集。

Answer 2

不要发布所有文档。仅发布您想要显示的文档并使用分页。我想写一篇关于 Meteor 分页的教程，但我现在没有太多时间。

使用 Iron Router 及其 waitOn 函数进行客户端订阅。

Router.map(function () {
   this.route('postShow', {
      path: '/posts/:page',

      before: function() {
         Session.set('page', this.params.page);
      },

      waitOn: function () {
         //how many documents we want to per page
         var perPage = 50;
         return Meteor.subscribe('posts', {}, {
           //limit
           limit: perPage,
           //we need to compute how many documents to skip
           skip:  perPage * Session.get('page') - perPage
         });
      },

      data: function() {
         return {
            //variable posts available for Handlebars: {{#each posts}}...
            posts: Posts.find()
         }
      } 
   });
});

然后发布：

Meteor.publish('posts', function(params, opts) {
   return Posts.find(params, opts);
});