Keras 自动编码器负损失和 val_loss 数据在 [-1 1] 范围内

Question

我正在尝试使 keras 自动编码器示例适应我的数据。我有以下网络：

Xtrain = np.reshape(Xtrain, (len(Xtrain), 28, 28, 2))
Xtest = np.reshape(Xtest, (len(Xtest), 28, 28, 2))

input_signal = Input(shape=(28, 28, 2))
x = Conv2D(16, (3, 3), activation='relu', padding='same')(input_signal)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
encoded = MaxPooling2D((2, 2), padding='same', name='encoder')(x)

# added Dense layers, is that correct?
encoded2 = Flatten()(encoded)
encoded2 = Dense(128, activation='sigmoid')(encoded2)
encoded2 = Dense(128, activation='softmax')(encoded2)
encoded3 = Reshape((4, 4, 8))(encoded2)

x = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded3)
x = UpSampling2D((2, 2))(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = UpSampling2D((2, 2))(x)
x = Conv2D(16, (3, 3), activation='relu')(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(2, (3, 3), activation='sigmoid', padding='same')(x)

autoencoder = Model(inputs=input_signal, outputs=decoded)
encoder = Model(input_signal, encoded2)
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')
autoencoder.fit(Xtrain, Xtrain, epochs=100, batch_size=128, shuffle=True, validation_data=(Xtest, Xtest))

而且，当我在 MNIST 数据上运行时，这些数据被归一化为 [0,1] 一切正常，但我的数据在 [-1,1] 范围内时，我只看到负损失和 0.0000 准确度，而训练。如果我执行 data = np.abs(data)，训练开始并且看起来很顺利，但是对数据执行 abs() 并没有理由训练数据伪造。

我试图提供给网络的数据是信号的 IQ 通道、实部的第一个通道和图像部分的第二个通道，因此两者都归一化为 [-1 1]，并且通常都包含非常低的值，例如5e-12。我已将它们塑造成 (28,28,2) 输入。

我还在自动编码器的中间添加了密集层，因为我希望在自动编码器完成训练时对类（自动拟合）进行预测。我这样做是否正确，这会破坏网络吗？

Answer 1

你在二元（'sigmoid'）和分类（'softmax'和'categorical_crossentropy'）之间混合。更改以下内容：

1. 删除中间的密集层并将“编码”而不是“编码3”提供给解码器
2. 将自动编码器损失更改为“binary_crossentropy”

或者，如果您真的想尝试中间的密集层，只需在没有激活函数的情况下使用它们（无）

Answer 2

您的问题存在几个问题，包括您对自动编码器及其用法的理解。我强烈建议至少阅读一下 Keras 博客文章 Building Autoencoders in Keras（如果你已经阅读过，可以说你必须再做一次，这次更彻底）。

一些一般性的观点，其中大部分都包含在上面的链接帖子中：

1. 自动编码器不用于分类，因此要求准确度等指标毫无意义。同样，由于拟合目标是重建其输入，因此分类交叉熵不是要使用的正确损失函数（请尝试使用二元交叉熵）。
2. 您使用的中间密集层的存在令人费解，更令人费解的是选择sigmoid 层，然后是softmax 层；这同样适用于您最后的decoded 层中的sigmoid 选择。这两个激活函数通常用于最后层的分类目的，因此请再次参考上面的第 (1) 点。
3. 我强烈建议您从上面链接的博客文章中演示的模型开始，如有必要，逐步修改它以适合您的目的，因为我不确定您在此处构建的内容是否可以甚至一开始就有资格成为自动编码器。