Tensorflow：tf.gather 不适用于大数组

Question

我的 numpy 数组有问题，它的大小为 (29000,200,1024)(7Go)。它是我数据集图像的特征。

加载后，我的函数接收索引以将当前批次构建为张量。 不幸的是，使用：

tf.gather(array, indices) 

冻结。尽管打印例如 array[0] 可以立即工作。 我尝试使用 convert_to_tensor 转换我的 numpy 数组，以便我可以直接使用 array_tensor(indice) 但同样，convert_to_tensor 导致内存限制错误。

有什么解决办法吗？

非常感谢

Answer 1

将 numpy 数组直接传递到 tf op 构造 API 会将其转换为 tf.constant op，其中包含 op 定义中的数据，因此您将整个内容内联到 GraphDef 中，受 2GB GraphDef 限制。

为避免这种情况，请创建 var=tf.Variable(my_placeholder) 并通过运行 var.initializer, feed_dict={my_placeholder: np_array} 初始化此变量。这会将 numpy 数组数据直接放入变量存储中。