用于集合之间的 Jaccard 相似性的 Python 包函数？

Question

可以使用 scikit-learn（或其他著名的 python 包）来获取一对 集合之间的 Jaccard 相似度吗？

我只看到 sklearn jaccard_similarity_score function 处理相等长度的向量/数组/张量，而我确实需要 intersection-over-union 计算，这是一个集合计算，而不是两个相同大小的张量的计算。

也许我应该使用the multi-label-binarizer, exemplified here，如果这是 scikit api 提供的预期方式。

当然，不用包就可以自己实现几行代码...

*这个问题不是家庭作业，是我为非技术观众制作的幻灯片，它说明了这里的重点。

只是想知道。

Answer 1

Numpy 内置了一些Set Routines。在这种情况下，正如@Harpal 指出的那样，您可以使用相交和联合操作。

在纯python中使用intersection和union：

gold = ['A', 'B', 'C']
clf = ['A', 'D']
gold_s = set(gold)
clf_s = set(clf)
jac_sim = len(gold_s.intersection(clf_s)) / len(gold_s.union(clf_s))
jac_sim
0.25

在 NumPy 中使用 intersect1d 和 union1d ：

gold = np.array(gold)
clf = np.array(clf)
jac_sim = np.intersect1d(gold, clf).size / np.union1d(gold, clf).size
jac_sim
0.25

当然 NumPy 实现要慢一些，但如果您的数据已经在 NumPy 数组中，它可能比将其转换为集合并在 Python 中进行计算要快。这完全取决于数据的大小。