PyTorch CUDA 与 Numpy 的算术运算？最快的？

Question

我使用带有 GPU 支持的 Torch 和 Numpy 使用下面的函数执行了逐元素乘法，发现 Numpy 的循环速度比 Torch 快，这不应该是这种情况，我怀疑。

我想知道如何使用 GPU 使用 Torch 执行一般算术运算。

注意：我在 Google Colab notebook 中运行了这些代码 sn-ps

定义默认张量类型以启用全局 GPU 标志

torch.set_default_tensor_type(torch.cuda.FloatTensor if 
                              torch.cuda.is_available() else 
                              torch.FloatTensor)

初始化 Torch 变量

x = torch.Tensor(200, 100)  # Is FloatTensor
y = torch.Tensor(200,100) 

有问题的功能

def mul(d,f):
    g = torch.mul(d,f).cuda()  # I explicitly called cuda() which is not necessary
    return g

当调用上面的函数时 %timeit mul(x,y)

返回：

最慢的运行时间是最快的运行时间的 10.22 倍。这可以 意味着中间结果正在被缓存。 10000 次循环，最佳 3：每个循环 50.1 µs

现在试用 numpy，

使用来自 torch 变量的相同值

x_ = x.data.cpu().numpy()
y_ = y.data.cpu().numpy()

def mul_(d,f):
    g = d*f
    return g

%timeit mul_(x_,y_)

退货

最慢的运行时间是最快的运行时间的 12.10 倍。这可以 表示正在缓存中间结果。 100000 次循环，最佳 3：每个循环 7.73 µs

需要一些帮助来了解支持 GPU 的 Torch 操作。

Answer 1

GPU 操作必须额外从 GPU 获取内存

问题是您的 GPU 操作总是必须将输入放在 GPU 内存上，并且 然后从那里检索结果，这是一个相当昂贵的操作。

另一方面，NumPy 直接处理来自 CPU/主存的数据，所以这里几乎没有延迟。此外，您的矩阵非常小，因此即使在最佳情况下，也应该只有微小的差异。

这也是您在神经网络中的 GPU 上训练时使用小批量的部分原因：您现在拥有可以并行处理的“一大块”数字，而不是几个非常小的操作。
Also note that GPU clock speeds are generally way lower than CPU clocks，所以 GPU 之所以真正闪耀，是因为它有更多的内核。如果您的矩阵没有充分利用所有这些，您也可能会在 CPU 上看到更快的结果。

TL;DR： 如果你的矩阵足够大，你最终会看到CUDA 的速度比 Numpy 更快，即使有额外的 GPU 传输成本。