为什么在训练 LSTM/RNN 模型时我的 GPU 比 CPU 慢？

Question

我的机器有以下规格：

CPU：至强 E5-1620 v4

GPU：Titan X（帕斯卡）

Ubuntu 16.04

英伟达驱动 375.26

CUDA 8.0

cuDNN 5.1

我对以下 Keras 示例进行了基准测试，其中 Tensorflow 作为支持 reference：

SCRIPT NAME                  GPU       CPU
stated_lstm.py               5sec      5sec 
babi_rnn.py                  10sec     12sec
imdb_bidirectional_lstm.py   240sec    116sec
imbd_lstm.py                 113sec    106sec

我的 gpu 在非 lstm 模型中的性能明显优于我的 cpu。

SCRIPT NAME                  GPU       CPU
cifar10_cnn.py               12sec     123sec
imdb_cnn.py                  5sec      119sec
mnist_cnn.py                 3sec      47sec 

有其他人经历过吗？

Answer 1

如果您使用 Keras，请使用 CuDNNLSTM 代替 LSTM 或 CuDNNGRU 代替 GRU。就我而言（2 Tesla M60），我看到了 10 倍的性能提升。顺便说一句，我使用@Alexey Golyshev 建议的批量大小 128。

Answer 2

批量太小。尝试增加。

我的 GTX1050Ti 的结果：

imdb_bidirectional_lstm.py batch_size 时间 32（默认）252 64 131 96 87 128 66 imdb_lstm.py batch_size 时间 32（默认）108 64 50 96 34 128 25

Answer 3

这只是一个提示。

使用 GPU 功能强大的时候

1.你的神经网络模型很大。
2.批量很大。

这是我通过谷歌搜索找到的。

Answer 4

我在这里遇到了类似的问题：

测试 1

CPU：Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz

Ubuntu 14.04

imdb_bidirectional_lstm.py:155s

测试 2

GPU：GTX 860m

英伟达驱动：369.30

CUDA 工具包：v8.0

cuDNN：v6.0

imdb_bidirectional_lstm.py:450s

分析

当我观察 GPU 负载曲线时，我发现了一件有趣的事情：

• 对于 lstm，GPU 负载在 ~80% 和 ~10% 之间快速跳跃

GPU load

这主要是由于 LSTM 层中的顺序计算。请记住，LSTM 需要顺序输入来迭代计算隐藏层权重，换句话说，您必须等待时间 t-1 的隐藏状态才能计算时间 t 的隐藏状态。

这对于 GPU 内核来说不是一个好主意，因为它们是许多喜欢并行计算的小内核，顺序计算无法充分利用它们的计算能力。这就是为什么我们看到 GPU 负载在大多数情况下都在 10% 到 20% 左右。

但在反向传播阶段，GPU 可以并行运行导数计算，因此我们可以看到 GPU 负载峰值在 80% 左右。