如何估计 cosine_similarity 矩阵所需的内存？

Question

我正在尝试通过sklearn.metrics.pairwise.cosine_similarity 计算余弦相似度矩阵。输出矩阵可能是 60k*50k。但是，它返回一个带有 32G 内存的 MemoryError。我正在考虑为我的服务器添加更多内存，但是我想估计我真正需要多少内存。

谢谢。

Answer 1

所需内存的良好估计是 60,000 * 50,000 * 4 字节 = 12 GB。如果您使用双精度而不是浮点数，那么内存将是两倍。