在 pytorch 中对自动编码器进行上采样

Question

我在 pytorch 中定义了我的自动编码器，如下所示（它在编码器的输出处给了我一个 8 维瓶颈，它工作正常 torch.Size([1, 8, 1, 1])）：

self.encoder = nn.Sequential(
    nn.Conv2d(input_shape[0], 32, kernel_size=8, stride=4),
    nn.ReLU(),
    nn.Conv2d(32, 64, kernel_size=4, stride=2),
    nn.ReLU(),
    nn.Conv2d(64, 8, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.MaxPool2d(7, stride=1)
)

self.decoder = nn.Sequential(
    nn.ConvTranspose2d(8, 64, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.Conv2d(64, 32, kernel_size=4, stride=2),
    nn.ReLU(),
    nn.Conv2d(32, input_shape[0], kernel_size=8, stride=4),
    nn.ReLU(),
    nn.Sigmoid()
)

我不能做的是用

训练自动编码器

def forward(self, x):
    x = self.encoder(x)
    x = self.decoder(x)
    return x

解码器给我一个错误，解码器无法对张量进行上采样：

Calculated padded input size per channel: (3 x 3). Kernel size: (4 x 4). Kernel size can't be greater than actual input size

Answer 1

您没有通过ConvTranspose2d 进行足够的上采样，编码器的形状仅为1 像素（width x height），请参见此示例：

import torch

layer = torch.nn.ConvTranspose2d(8, 64, kernel_size=3, stride=1)
print(layer(torch.randn(64, 8, 1, 1)).shape)

这会在上采样后打印您的确切 (3,3) 形状。

你可以：

• 使内核更小 - 而不是 4 在解码器中的第一个 Conv2d 使用 3 或 2 甚至 1
• 上采样更多，例如：torch.nn.ConvTranspose2d(8, 64, kernel_size=7, stride=2) 会给你7x7
• 我个人会做什么：在编码器中减少采样，因此输出形状至少为4x4 或5x5。如果您将图像压缩得如此之多，则无法将足够的信息编码到一个像素中，即使代码通过网络也不会学习任何有用的表示。

Answer 2

我已经设法实现了一个自动编码器，它提供了一个无监督的聚类（在我的例子中是 8 个类）

这不是专家解决方案。感谢@Szymon Maszke 的建议。

self.encoder = nn.Sequential(
    nn.Conv2d(1, 32, kernel_size=8, stride=4),
    nn.ReLU(),
    nn.Conv2d(32, 64, kernel_size=4, stride=2),
    nn.ReLU(),
    nn.Conv2d(64, 2, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.MaxPool2d(6, stride=1)
)

self.decoder = nn.Sequential(
    nn.ConvTranspose2d(2, 64, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.ConvTranspose2d(64, 32, kernel_size=8, stride=4),
    nn.ReLU(),
    nn.ConvTranspose2d(32, 1, kernel_size=8, stride=4)
)