PyTorch 等效于 Tensorflow 线性层

Question

我试图使用 PyTorch 框架重新实现 TensorFlow 代码。下面我包含了 TF 示例代码和我的 PyT 解释。

TensorFlow 实现：

W1 = tf.Variable(xavier_init([135, 128]))
b1 = tf.Variable(tf.zeros(shape=[128]))

def fcn(x):
    z = tf.reshape(x, (-1, 135))
    out1 = leaky_relu( tf.matmul(z, W1) + b1 )

    return out1

PyTorch 实现：

class decoder(nn.Module):
    def __init__(self):
        super(decoder, self).__init__()

        self.layer_10 = nn.Linear(135, 128, bias=True)
        self.leaky = nn.LeakyReLU(0.2, inplace=False)
        init.xavier_uniform(self.layer_10.weight) 

    def forward(self, x):
        z = x.view(-1, 135)
        h30 = self.leaky(self.layer_10(z))

        return h30

我想知道实现 matmul 部分的正确方法是什么，因为 pytorch 中的权重没有像 TF 中那样明确定义（或者如果我错了，请纠正我）。

Answer 1

你不需要显式地调用torch.matmul：它在nn.Linear层的forward方法的实现中。通过调用self.layer_10(z)，您实际上是在（在后台）调用forward 方法，该方法执行矩阵乘法并为您添加偏差。

如果您希望代码完全相同，您可能希望使用相同的方法显式初始化权重。为此，您拥有实现各种权重初始化的nn.init。具体来说，您可能会发现 nn.init.xavier_uniform_ 相关。