确保 Python 代码是在 GPU 还是 CPU 上运行

Question

我编写了一些基本的Deep Learning 代码，其中包含 2 个LSTM 层。我使用Keras 和Theano 作为我的后端。与AWS 上的另一台机器相比，此代码在AWS 上的我的机器上花费的时间太长了。在运行速度更快的机器上，每个 epoch 需要 640 秒，而在运行速度较慢的机器上，每个 epoch 需要超过 10,000 秒。

我开始认为较慢机器上的代码没有在 GPU 上运行。两台机器上运行的代码完全相同。机器配置也一样。

看起来Theano 安装在速度较慢的机器上。我运行了以下代码并得到了结果：

有没有办法检查我的代码是在 GPU 还是 CPU 上运行？

在这方面的任何帮助将不胜感激。

TIA。

编辑

根据@Marcin 的建议，我添加了以下代码：

但是当我运行以下代码时，我仍然得到Used the cpu 结果：

Answer 1

有几种方法可以检查：

1. 签入Theano标志：

   import os
   print(os.environ["THEANO_FLAGS"])
   

   看看device设置了什么。

2. 尝试运行此代码 sn-p 提供here:

代码：

from theano import function, config, shared, tensor
import numpy
import time

vlen = 10 * 30 * 768  # 10 x #cores x # threads per core
iters = 1000

rng = numpy.random.RandomState(22)
x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
f = function([], tensor.exp(x))
print(f.maker.fgraph.toposort())
t0 = time.time()
for i in range(iters):
    r = f()
t1 = time.time()
print("Looping %d times took %f seconds" % (iters, t1 - t0))
print("Result is %s" % (r,))
if numpy.any([isinstance(x.op, tensor.Elemwise) and
              ('Gpu' not in type(x.op).__name__)
              for x in f.maker.fgraph.toposort()]):
    print('Used the cpu')
else:
    print('Used the gpu')

编辑：

尝试将此 sn-p 添加为代码的前两行（重要）：

import os
os.environ["THEANO_FLAGS"] = "mode=FAST_RUN,device=gpu,floatX=float32"