Keras CNN 自动编码器输入形状错误

Question

我已经使用 keras 构建了一个 CNN 自动编码器，它适用于 MNIST 测试数据集。我现在正在尝试使用从另一个来源收集的不同数据集。有纯图像，我必须使用 cv2 阅读它们，它工作正常。然后，我将这些图像转换为一个 numpy 数组，我认为它也可以正常工作。但是当我尝试执行 .fit 方法时，它给了我这个错误。

Error when checking target: expected conv2d_39 to have shape (100, 100, 1) but got array with shape (100, 100, 3)

我尝试将图像转换为灰度，但它们得到的形状是 (100,100)，而不是模型想要的 (100,100,1)。我在这里做错了什么？

这是我正在使用的代码：

def read_in_images(path):
    images = []
    for files in os.listdir(path):
        img = cv2.imread(os.path.join(path, files))
        if img is not None:
            images.append(img)
    return images

train_images = read_in_images(train_path)
test_images = read_in_images(test_path)
x_train = np.array(train_images)
x_test = np.array(test_images) # (36, 100, 100, 3)

input_img = Input(shape=(100,100,3))
x = Conv2D(32, (3, 3), activation='relu', padding='same')(input_img)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(16, (3, 3), activation='relu', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(16, (3, 3), activation='relu', padding='same')(x)
encoded = MaxPooling2D((2, 2), padding='same')(x)


x = Conv2D(16, (3, 3), activation='relu', padding='same')(encoded)
x = UpSampling2D((2, 2))(x)
x = Conv2D(168, (3, 3), activation='relu', padding='same')(x)
x = UpSampling2D((2, 2))(x)
x = Conv2D(32, (3, 3), activation='relu')(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)


autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')


autoencoder.fit(x_train, x_train,
            epochs=25,
            batch_size=128,
            shuffle=True,
            validation_data=(x_test, x_test),
            callbacks=[TensorBoard(log_dir='/tmp/autoencoder')])

该模型适用于 MNIST 数据集，但不适用于我自己的数据集。任何帮助将不胜感激。

Answer 1

您的输入和输出形状不同。这会触发错误（我认为）。

decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)

应该是

decoded = Conv2D(num_channels, (3, 3), activation='sigmoid', padding='same')(x)

Answer 2

我进行了一些测试，并以这样的灰度加载数据：

img = cv2.imread(os.path.join(path, files), 0)

然后扩展最终加载的数组的暗淡，如：

x_train = np.expand_dims(x_train, -1)

最后用一个简单的方法标准化你的数据：

x_train = x_train / 255.

（您的模型的输入必须是：input_img = Input(shape=(100, 100, 1)）

损失再次恢复正常，模型运行良好！

评论后更新

为了使所有 rgb 通道通过网络，您需要一个与您的输入形状相对应的输出。
在这里，如果您想要形状为 (100, 100, 3) 的图像，您需要从解码器输出 (100, 100, 3)。

decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x) 将缩小输出以具有形状 (100, 100, 1)

所以你只需要改变过滤器的数量，这里我们需要 3 个颜色通道，所以转换必须是这样的：

decoded = Conv2D(3, (3, 3), activation='sigmoid', padding='same')(x)