增加稀疏向量的 Elasticsearch 最大维度

Question

使用sparse vectors in elastic search 有两个维度限制。一方面，向量的元素不应超过 1024 个。

这个可以解决，见in this question。

第二个限制不是一个稀疏向量中的元素个数，而是元素的维数。例如，如果我们有 20 维，我们可以有这两个向量：

v1 = {"1": 0.01, "7": 0.2, "0": 0.4}
v2 = {"19": 0.02, "11": 0.7}

每个只有 3 个和 2 个元素。请注意，键的范围是从 0 到 19，以字符串形式。

这些字典键（稀疏向量作为字典提供给 json）是编码为字符串的整数，并且不能超出有趣的数字 65535。

我猜这可能与default limit for file descriptors有关，它也是65535，我认为这太可疑了，不能不相关。

这些问题真的相关吗？是否可以绕过稀疏向量的限制？在我的例子中，稀疏向量的维度是从词汇表中给出的，因此减少它会损害结果（不过我并不担心查询性能。）

Answer 1

过去他们实际上将维度数量从 500 增加到 1024，以满足更大模型的需求。提高限制的唯一方法是编辑this configuration 并从源代码安装。

不确定字典键的问题。

但是，根据我的经验，Elasticsearch 中的密集向量搜索非常慢，因此我创建了一个开箱即用的平台，用于提高 SOTA 模型的搜索相关性，称为NBoost。

希望这会有所帮助！