numpy.dtype=object 与 numpy.dtype=int 相比非常慢

Question

我正在使用 numpy.dtype=object 在 numpy 数组中输入高值（大于 2^70）：

numpy.array([1], dtype=numpy.object) << 70
array([1180591620717411303424], dtype=object)

我在这里使用 dtype=numpy.object 的唯一原因是，当您尝试在其中输入高值时，超过了 numpy.int 的限制。

numpy.array([1]) << 70
>>> array([64], dtype=int32) #the result should have been array([1180591620717411303424], dtype=object)

详细信息在我的另一个问题here. 中进行了说明。在这种情况下，使用 dtype=object 可以正常工作。

但我发现使用 dtype=numpy.object 很慢。

为了验证，我比较了以下操作的时间：

您可以看到 dtype=int 快得多。

那么在 numpy 数组中输入高值有什么解决方法吗？

Answer 1

根据用户的评论：

我正在建立一个人与视频的位图索引，我有很多 为有限的一组人（大约 100 个）提供的视频（超过 1000 个）。所以 每个单元格表示该人是否出现在视频中 (1) 或 不是（0）。该表存储在一个文件中。现在当我想知道是否有两个 人们是否一起出现在视频中，然后我阅读了 这两个人的对应行并按位“与” 操作以获取结果并找到存在“1”的索引。 所以按位“与”，我需要将二进制列表转换为 先取整数，再计算结果。

一个非常更简单的解决方案是加载二进制数组（此处使用的虚拟数据，形状 = 人 x 视频），然后比较与您的两个人相对应的两行（比如第 10 个人和第 10 个人） 37) 使用 &，最后检索两者都出现的视频索引：

my_map = numpy.random.randint(0,2,(100, 1000), numpy.bool)
appear_together_in_video_index = numpy.where(my_map[10] & my_map[37])

这样，您只需要处理布尔值（8 位）并完全避免大数字问题。

要回答最初的问题，这并不是一个公平的比较。由于您的目标是处理大量数字，因此您应该在支持如此大量数字的两个解决方案之间执行时序测试。基本的替代方法是将 Python 整数保存在 Python 列表中，这并不比将它们作为对象存储在 numpy 数组中更快（也更容易处理）。