增加重复数据删除库中的 max_components 变量

Question

如何增加max_components 变量的默认值？

默认情况下，max_components 设置为 30000。我需要增加此限制，因为每次执行重复数据删除（使用相同的数据集）我都会得到不同的结果。

我认为我的数据中的集群总数大于 30000。

Answer 1

来自 Github 的回答

Issue in dedupe github Increase max_components = 30000

如果您使用相同的保存设置文件得到不同的结果， 那么你报告的是一个错误。如果你得到不同的结果 来自不同的训练数据（甚至是相同的训练数据），那就是 预期在各个点重复数据删除使用随机样本来学习 好的规则。

无论哪种情况，我都怀疑 max_components 是否相关。但是，如果你 想要改变它，fork代码并改变它。