如何在 PyTorch 中为批处理数据添加“点”权重？

Question

我有批量数据，想dot() 到数据。 W 是可训练的参数。 批量数据和权重之间如何打点？

hid_dim = 32
data = torch.randn(10, 2, 3, hid_dim)
data = data.view(10, 2*3, hid_dim)
W = torch.randn(hid_dim) # assume trainable parameters via nn.Parameter
result = torch.bmm(data, W).squeeze() # error, want (N, 6)
result = result.view(10, 2, 3)

更新

这个怎么样？

hid_dim = 32
data = torch.randn(10, 2, 3, hid_dim)
data = tdata.view(10, 2*3, hid_dim)
W = torch.randn(hid_dim, 1) # assume trainable parameters via nn.Parameter
W = W.unsqueeze(0).expand(10, hid_dim, 1)
result = torch.bmm(data, W).squeeze() # error, want (N, 6)
result = result.view(10, 2, 3)

Answer 1

扩展W张量以匹配data张量的形状。以下应该可以工作。

hid_dim = 32
data = torch.randn(10, 2, 3, hid_dim)
data = data.view(10, 2*3, hid_dim)
W = torch.randn(hid_dim)
W = W.unsqueeze(0).unsqueeze(0).expand(*data.size())
result = torch.sum(data * W, 2)
result = result.view(10, 2, 3)

---

编辑：您更新的代码是正确的。由于您正在将W 转换为Bxhid_dimx1 并且您的数据的形状为Bxdxhid_dim，因此进行批量矩阵乘法将导致Bxdx1 这本质上是W 参数和所有行向量之间的点积data (dxhid_dim)。