如何在 Keras 的 5 维数组上运行 model.predict()？

Question

我已经训练了一个二进制分类模型，该模型采用 (128x128x3) 图像，然后给出 0 或 1 的二进制值。然后我想拍摄更大的图像，例如 (nxmx3)，并应用窗口函数并具有模型在每个窗口上运行预测。

我使用 skimage.util.view_as_windows 将 (1024x1024x3) 图像转换为 (897,897,128,128,3) numpy 数组。我现在想通过我的模型运行每个 (i, j, 128,128,3) 窗口，然后将其放置在同一位置。最后，我想要一个 (897,897) 数组，其中包含该类存在的概率。

我现在这样做的方式需要一个 for 循环，它需要将近 1-2 分钟才能通过，同时随着包含模型预测的列表变大而变慢。

有没有办法对这个过程进行矢量化？也许展平 numpy 数组，在其上运行 model.predict()，然后创建一个具有相同先前尺寸的二维数组？

Answer 1

您可以使用完全卷积网络，它使用滑动窗口来预测输出，它不依赖于输入形状。用具有相同 output_shape 的卷积层替换您的全连接层，并在 (128x128x3) 数据集上进行训练。

如果您在 1024x1024 输入图像上进行预测，网络会为每个 128x128 区域预测一个标签。