如何将 CNN 中的 k 个通道用于 k 个 FC 层

Question

我有一个编码器，它输出一个形状为(bn, c * k, 32, 32) 的张量。我现在想要生成形状为(bn, k, 1, 2) 的 k 均值。所以手段是二维坐标。为此，我想使用 k 个 FC 层，而对于每个均值 k_i 我只想使用 c 个通道。

所以我的想法是，我将编码器输出 out 重塑为形状为 (bn, k, c, 32, 32) 的 5d 张量。然后我可以使用扁平化的 out[:, 0] ... out[:, k] 作为 k 个线性层的输入。

简单的解决方案是手动定义线性层：

self.fc0 = nn.Linear(c * 32 * 32, 2)
...
self.fck = nn.Linear(c * 32 * 32, 2)

然后我可以如下定义每个均值的前向传播：

mean_0 = self.fc0(out[:, 0].reshape(bn, -1))
...
mean_k = self.fck(out[:, k].reshape(bn, -1))

有没有更有效的方法来做到这一点？

Answer 1

我相信您正在寻找分组卷积。你可以让axis=1 有k*c 张量，所以输入形状是(bn, k*c, 32, 32)。然后使用带有2*k 过滤器的nn.Conv2d 卷积层并设置为接收k 组，因此它不是完全连接的通道（仅k 组c 映射：卷积c 一次。

>>> bn = 1; k = 5; c = 3
>>> x = torch.rand(bn, k*c, 32, 32)
>>> m = nn.Conv2d(in_channels=c*k, out_channels=2*k, kernel_size=32, groups=k)

>>> m(x).shape
torch.Size([4, 10, 1, 1])

然后你可以根据自己的喜好重新塑造。

---

就参数数量而言。 nn.Conv2d 的典型用法是：

>>> m = nn.Conv2d(in_channels=c*k, out_channels=2*k, kernel_size=32)
>>> sum(layer.numel() for layer in m.parameters())
153610

这正是c*k*2*k*32*32 权重加上2*k 偏差。

在你的情况下，你会

>>> m = nn.Conv2d(in_channels=c*k, out_channels=2*k, kernel_size=32, groups=k)
>>> sum(layer.numel() for layer in m.parameters())
30730

这正是c*2*k*32*32 权重加上2*k 偏差。 即 k 比上一层少。给定的过滤器只有c 层（不是k*c），这意味着它将具有c 通道的输入（即包含k 组之一的c 映射）

Answer 2

你可以使用 nn.ModuleList 来做这样的事情：

import torch
import torch.nn as nn
import torch.nn.functional as F

class fclist(nn.Module):
    def __init__(self, k):
        super().__init__()
        '''
        k: no. of clusters
        '''
        self.k = k
        '''
        .
        .
        .
        Other previous layers
        .
        .
        '''

        c = 1

        self.out_layers = nn.ModuleList()
        for i in range(k):
            self.out_layers.append(nn.Linear(c*32*32, 2))

    def forward(self, x):
        '''
        .
        .
        .
        pass throgh previous layers
        .
        .
        '''
        x = [layer(x) for layer in self.out_layers]
        return x

样本输出：

>>> net =  fclist(k=3)
>>> inp = torch.randn(1, 1*32*32)
>>> net(inp)
[tensor([[-0.7319, -0.2686]], grad_fn=<AddmmBackward>), tensor([[-0.6248,  0.9180]], grad_fn=<AddmmBackward>), tensor([[0.2532, 0.1387]], grad_fn=<AddmmBackward>)]