使用多个字段在 MongoDB 聚合框架中按相关性排序

Question

我有一个使用 MongoDB（使用 Mongoose 驱动程序）的 Node/NestJS 后端应用程序。对于“获取”功能，我设置了一个聚合管道，首先可以应用一些“硬”过滤器，完全过滤掉内容 - 现在我想要一些软过滤器，对搜索结果进行排名并过滤掉它们无关的。该算法应该使用文档上的三个字段：标题、描述和标签。标题和标签应该是其中最重要的。如果总相关性得分低于某个阈值，则将排除结果。现在，我已经检查了其他几个 StackOverflow 帖子，例如this one，但它们似乎都与“标签”字段有关。我找到了suggested to use indexes for this 的一个文档，但如果我大致知道该怎么做，我最好希望通过聚合框架来做。

下面是另一个应用程序的代码，用于演示该功能；

        do {
          let reg
          if (Array.isArray(searchString)) {
            reg = new RegExp(searchString[i], 'gi')
          } else {
            reg = new RegExp(searchString, 'gi')
          }
          for (const note of this.notes) {
            const countTitle = (note.title.match(reg) || []).length
            note.searchScore += countTitle

            let countTags = 0

            for (const tag of note.tags) {
              const tagLength = (tag.match(reg) || []).length
              countTags += tagLength
            }

            note.searchScore += countTags * 0.5

            const countContent = (note.content.match(reg) || []).length

            note.searchScore += countContent * 0.3
          }
          i++
        } while (!Array.isArray(searchString) && i < searchString.length)
        this.toDisplay = this.notes.filter(
          f => f.searchScore > 0 + searchString.length / 4
        )
        this.showNew = false
        this.sortUp = false
        this.sortItems('relevance')
      } else {
        this.updateUI()
      }
    }

上面的算法接受一个字符串或字符串数​​组。标题、标签和描述/内容的权重分别为 1、0.5 和 0.3。设置了一个阈值，当分数低于或等于 0 + 搜索词的数量除以 4 时，项目被完全过滤掉。可以调整值，但本质上，这是我想在聚合框架内实现的算法.它会是什么样子？提前致谢。

Answer 1

您可以在聚合中使用文本索引 - 但它必须是第一阶段。

这是我的看法，只有一个搜索词：

const search = new RegExp(searchString, 'i');

collection.aggregate().match(hardFilters)
  // This step is not really necessary
  .match({
    $or: [{
      tags: search
    }, {
      title: search
    }, {
      content: search
    }]
  })
  .set({
    relevance: {
      $sum: [
          {$multiply: [{$size: {$regexFindAll: {input: "$title", regex: search}}}, 100]},
          {$multiply: [{$size: {$regexFindAll: {input: {
              $reduce: {
                 input: "$tags",
                 initialValue: "",
                 in: { $concat : ["$$value", " ", "$$this"] }
              }
          }, regex: search}}}, 50]},
          {$multiply: [{$size: {$regexFindAll: {input: "$content", regex: search}}}, 30]},
      ]
    }
  })
  .match({relevance: {$gte: searchString.length * 25}})
  .sort({relevance: -1});

如果有多个搜索词，也许你可以这样做：

const search = new RegExp(searchStrings.join('|'), 'i');

如果您真的需要，可以单独搜索每个标签，方法是：

    relevance: {
      $sum: [].concat(...searches.map(search => [
          {$multiply: [{$size: {$regexFindAll: {input: "$title", regex: search}}}, 100]},
          {$multiply: [{$size: {$regexFindAll: {input: ..., regex: search}}}, 50]},
          {$multiply: [{$size: {$regexFindAll: {input: "$content", regex: search}}}, 30]},
      ]))
    }

也许您可以添加边界检查，无论是多次搜索还是单次搜索：

const search = new RegExp("\b" + searchStrings.join('|') + "\b", 'i');

Answer 2

鉴于 Atlas Search 默认返回按相关性排序的文档并使用倒排索引，这似乎是这里的工作工具。相关性会更好，更可定制。根据您正在构建的内容，您还可以获得其他可能会从中受益的功能，例如突出显示和自动完成。