如何存储和查找数据？

Question

我有一个 2048 维的 numpy 数组。我想存储在postgresql中并找到。

我尝试了多维数据集数据类型（我将大小增加到 2048 维），但我收到“行太大”错误，因为大小很大

我尝试将其保留为文本，但无法获得余弦相似度。

如何存储和查找这些数据？它可以在不同的数据库或方法中。我愿意接受各种建议

Answer 1

您可以将它保存在这样的表格中：

VectorId   Index    value
1          0        0.5
1          1        2.5
...        ...      ...
1          2048     3.0
2          0        1.5
2          1        4.5
...        ...      ...
2          2048     0.0
3          0        1.3
...        ...      ...

不过，这是很多“不必要的”元数据。 但如果你没有太多的向量，那应该不是问题。

这是一个帖子，其中数据以相同的方式保存，问题是关于仅使用 sql 计算余弦相似度。

SQL Computation of Cosine Similarity

顺便说一句：你有一个长度为 2048 的一维数组/向量，这在问题中有点不清楚。