作为 Keras lambda 层的图像预处理与单独的预处理

Question

在通过网络传播图像之前，我正在尝试应用从 Keras 中的 resnet50 模块导入的预处理。由于在尝试将其应用于生成器对象时出现错误，因此我将其作为 lambda 层添加到网络中。

但由于该模型比我之前在分别对每张图像应用预处理时训练的模型差，因此我比较了两种方法的结果，它们看起来非常不同，尽管我看不出所应用的操作有什么不同.

import keras
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input

model = keras.models.Sequential()
model.add(keras.layers.Lambda(preprocess_input, name='preprocessing', input_shape=(224, 224, 3)))

file = '/path/to/an/image.jpeg'
x = np.array(image.img_to_array(image.load_img(file, target_size=(224, 224))))

preprocessed_x = preprocess_input(x)
predicted_x = model.predict(x.reshape(1,224,224,3)).reshape(224,224,3)

结果（左：直接使用的预处理函数；右：作为 lambda 层的预处理。

Answer 1

我认为这可能是 keras 代码中的错误，但我发现 preprocess_input(x) 正在修改 x。

见：

x = np.array(image.img_to_array(image.load_img(file, target_size=(224, 224))))
print("x before preprocess - max: " + str(x.max()) + " / min: " + str(x.min()))
preprocessed_x = preprocess_input(x)
print("x after preprocess - max: " + str(x.max()) + " / min: " + str(x.min()))

结果：

x before preprocess - max: 255.0 / min: 0.0
x after preprocess - max: 151.061 / min: -123.68

一开始我当然不会想到这种行为，但三思而后行，它节省了内存（这在神经网络中很有价值......）。

如果您使用 numpy 版本之前的模型版本运行测试，则不会发生问题（因为模型在张量中工作，不会就地修改 x）。

在模型内部还是外部进行预处理？

我会说最好在模型之外的生成器中预处理图像。 这样，您可以在训练和预测时获得更快的执行速度。