我可以使用 MapReduce 计算文档字段的相似度吗？

Question

我知道使用 map reduce 无法计算两个文档的 Jaccard 相似度，因为 map 只取一项。

我想计算文档字段元素的相似度。这可以使用map reduce吗？我看不到从当前点发射什么。

输入：

{'_id': 'foobar1',
 'categories': ['one', 'two', 'three']}
{'_id': 'foobar2',
 'categories': ['one']}
{'_id': 'foobar3',
 'categories': ['one', 'two']}

我现在想计算类别one、two 和three 彼此之间的相似程度，考虑到它们所属的文档。这也可能是在以下集合中找到文档之间的相似性的状态（只是在理想情况下，我不必重新计算我的数据到这个集合）。

{'_id': 'one'
 'documents': ['foobar1', 'foobar2', 'foobar3']}
{'_id': 'two',
 'categories': ['foobar1', 'foobar3']}
{'_id': 'three',
 'categories': ['foobar1']}

期望的输出：

{('one', 'two'): 2/3,
 ('one', 'three'): 1/3,
 ('two', 'three'): 1/2}

这是否可以使用 map reduce 以及如何实现？

到目前为止，我从地图中发出类似：

[{('one', 'two'): 1},
 {('one', 'three'): 1},
 {('two', 'three'): 1},
 {('one', 'two'): 1}]

但是当然在reduce中我只能计算总和，因为我不知道S('one')和S('three')的并集是什么。

我是否必须在 map-reduce 之后重新计算总和，或者我可以改变我的方法以在 0 和 1 之间进行相似性（就像 Jaccard 那样）？

免责声明：尽管它可能看起来像大学任务，但事实并非如此。这是一个个人项目。

Answer 1

我相信您可以使用聚合框架计算两个数组字段 X 和 Y 的 Jaccard 系数 - 您应该始终更喜欢使用 map/reduce。两组X和Y的Jaccard系数定义为

J(X, Y) = size(X & Y) / size(X | Y)

其中size(T) 是集合T 中的元素数，& 是集合交集，| 是集合并集。要使用聚合框架计算此值，请使用以下（粗略）管道：

db.test.aggregate([
    { "$project" : { "intersection" : { "$setIntersection" : ["$X", "$Y"] }, "union" : { "$setUnion" : ["$X", "$Y"] } } },
    { "$project" : { "jaccard" : { "$divide" : [{ "$size" : "$intersection" }, {"$size" : "$union" }] } } }
])

我将计算分为两个步骤以使其更清晰，但它可能是一个$project 阶段。您可能需要添加额外的逻辑来处理X 和Y 都为空或其中一个不是数组或丢失的情况。预先添加一个 $match 阶段来计算文档子集的系数。